お支払い

マッチングした男性と何度かお茶や食事に行っています。初めて会った時はとなりの県からわざわざ来てもらったのでとご馳走して下さいましたが、私としては奢ってもらうのは申し訳なくて自分の食べた分は出したいと思っているので、それ以降はお会計の時にだいたいですが割り勘になる金額をお渡ししています。ただ、男性の立場としてはレジでお会計の時に横の女からお金出されたりしたらカッコ悪い等と感じるのでしょうか？私がお金をお渡ししても何も言わず受け取って下さっていたので気にならなかったのですが、もしかして失礼な事していたのかなと今更不安になりました。
お会計の時は相手にお任せして、お店の外に出てから自分の食べた分の金額をお渡しするのがいいかなと考えていますがどのような対応がいいと思いますか？