私は人として冷たいのでしょうか？

個人的な感想として、投稿者さんの心が狭いかな？と思います
　
理由は大きく二つ、元々お茶だけに止める約束のデートというわけではないのと、自分はランチも食べていいか確認した上で了承とっているためです
　
マイペースなのはそうなんでしょうが、失礼な男性という印象はまるでなく、投稿者さんのローカルルール意識が強過ぎるだけだと思います
　
もちろん感性の相性は大事なので、無理にその男性とのやりとりを継続しなくてもいいとは思いますが、このレベルで弾いていたらろくに合う人なんて見つからないのでは？というのが正直なところです

確かに自分だけ食事をするって、そもそもマナー以前に楽しいのかな？と思いますね。
けど、どちらの言い分もわかります。
心が狭いという表現でも間違いではないでしょうけれど、単なる価値観の相違と考えていいと思いますよ。少なくとも、特段冷たいとは思いません。

投稿者さんの考え方に基本的に違和感ありません。
必ずしも失礼であるとか、相手を軽んじていることになるわけではないものの、
やや配慮に欠ける行動です。初対面でも気遣いしないとかマイペースだとかいうのは、言い方を変えれば、ただわがままで独善的なだけのように思えます。また、とりわけ初対面であることも加味すれば、そう捉えられる場合があることも、理解しておいてもらいたいですね。
例えば、「午前から急なお仕事が入っていて食べる時間がなかった、申し訳ないが軽食だけ頼んでもいいか…」といった、特殊な事情があるなら、問題に感じません。が、おそらく食べるタイミングをただ逃しただけなのでしょう。そうであるなら単なる準備不足ですね。
許容範囲かは人それぞれだと思いますが、自分だったらナシな行動です。
ただ、いかんせん些細な違和感なので、私が投稿者さんと同じ状況なら、それだけで即刻アウトというよりは、色々みて決めるのであろうと思います。