個人的には、手を繋ぐのを断られたら警戒心強過ぎなので切るかな。
ただ、キスやハグは一般的ではないので、断るのは仕方ない。
しかも、あなたは謝罪してます。

そこでも、まだ無視するなら、さすがに拘りが強そうなので関わらない方がいいですよ。
あなたの真意は謝罪でわかるので、嫌う事はないはず。
普通は、返事が来るはずです。

私個人の偏見もございますが、たかが数回のデート(チャットでのやり取りが長い・濃いなら話は変わるかもですが)かつ交際前という状況でスキンシップを求める男性は、ヤリモク又は一応恋愛目的だとしてもお相手を決めるにあたって性的欲求がかなり先行するタイプではないかと思います。
相談者様に好意を抱いていたのであれば寧ろ自身から「あんな事してごめんね？」と謝罪があってしかるべきかと思いますし、そう考えると今回のケースはヤリモクだったのではないかと、そんな男性に引っかからずに済んだ事を安堵するくらいが精神衛生上よろしいかと思います。