支払いを申し出る時、私は帰りの席を立つ前くらいに自分の分を渡します。

と言っても食事することはほとんどないのでお茶代のみ、「少なかったらすみません」と言って、4～500円のキリの良い金額で渡してます。

カフェでお話してる段階で理由をはっきり話せばいいと思います。そこまですれば理解してくれますよ。
女性が支払いますと言っておきながら支払う気はさらさら無く、じゃちょっとだけ支払って貰うと、機嫌を損ねるクズ女がそこそこいます。トラブりたくないので仕方なく支払ってるだけです。男の気持ちも理解してください。
レジ前ではすでに難しいのですよ。

それならスタバ等行けば良くないですか？
注文するときに解決するやつだったら、自分の分は自分で払いますよ。ご飯でも食券性とか事前会計とか探せばいいじゃないですか。
それもできないなら、先に会計全部済ませておけばいいんじゃないですか後から相手の分徴収すればいい。