人見知りの方の接し方

人見知りの方、教えてください。

メッセージではとても楽しくやりとりしていて向こうから会ってみたいと言ってくれたので会うことに。向こうのことを考えてなるべくお昼すぎくらいの明るい時間でお家がわかるといけないので行きやすい駅を指定してもらいました。
実際に会ってみると、一度も目を合わせてはくれず、話題も毎回こちらから振って話を広げようと頑張ってみたのですが、少し答えてくれるだけ。僕は物腰柔らかめな雰囲気だと思うので見た目で怖がらせるようなことはしてないと思います。それにとても優しく接したつもりなのですが沈黙が耐えられず気づくとスマホを見ているようで、僕はどうしてあげたらよかったのでしょうか？
ちなみにその日の連絡以降はメッセージはきていません。