気になる人がいますが、相手がただの暇つぶしなのかどうか全然分かりません。ご意見お聞かせください！

相手の男性の方（歳は二つ上）とはLINE交換をしていて、交換をしてから２週間くらい毎日連絡をとっています。今までに4回ほど電話をしたことがあるのですが、毎回、家に来ない？と誘ってきます。時間帯は彼が仕事を終えた後なので夜中の12時を過ぎています。でも、無理はしなくていい、怖いなら大丈夫だと言ってくれます。今のところ全て断っています。これはただの暇つぶしでしょうか。ちなみに、前に、なぜ家に呼ぶの？と思いきって聞いてみたところ、会って話してみたいと言っていました。私も彼と会ってみたいと思いますが、相手がどう思っているのか不安です。