2回目を誘う時

初回なら特にそういう事も多々あると思いますが、相手から話が出ているなら継続を前提に考えて良いと思います
　
具体的なやりとりはわかりませんが、可能性として相手はこちらの予定が決まるのを待っている状態になってしまってはいませんか？
微妙なニュアンスの違いでそういうことはありますから
　
その場合、こちらから連絡が来ないと相手も「予定が決まって無いって、実は初回で合わないと切られてしまったかも」と誤解されかねないので、一報入れて様子見はした方がいいと思います

男性側からすると2回目会う話をしている時に、質問主さんの予定が決まってないから日程を決めない＝2回目会うつもりはない！と思ってしまうかもしれません。
(その場では、2回目会いたいと言ってても予定決まってないと言われて、あーやんわり断られてるだなーと自分なら誤解してしまいそうです。)
なので、質問主さんから連絡してあげた方が男性側も喜んでくれると思いますよ☺️

前出していますが、「次の予定が組めない」はお断りの常套手段です。
おそらくお相手はあなたのことを脈なし認定しています。
迷惑かは断言できませんが、今の時点ではダメで元々ですので連絡してみたらいかがでしょうか？