そもそも、恋愛対象だとか、脈ありだとか考えずに、あなたがその人をどう思うかですよね。
彼の辛い気持ちを聞いてあなたが何かしてあげたいと思えば、してあげてください。
ただ何と無くこの人なら付き合えそうだから、彼の期待に応えてみようかなと思うならやめた方が良いと思います。

質問の答えですが、ハッキリ言ってこんな一言二言では脈アリがどうかなんて誰にも分かりません。
あなたと彼の過ごした時間や会話はあなた方しか分からないのですから。
遊んでる男もこんな事平気で言いますし。
自分に振り向いて欲しいと思う人も同じような事言うと思いますよ。