情報が少なくてよくわからないのですが「遊びに行く」と言われただけで「会いましょう」と言われたわけではないんですよね？
用事があって来たのかもしれないし、知人と一緒だったかもしれません。
メッセージが来ないのでしたら、ご自分から「そちらへ行く用事がある。良かったら会いませんか」と送ってみてはいかがでしょうか。
返信がこなかったり、消極的な態度でしたらそこまでの男性だったと思い、次にいきましょう！