正直怖いです……

ヤリモクかもしれない（むしろヤリモク）ので、ブロックでいいと思います。

こちらが平和的にと思っていても相手もそうだとは限りません。
こちらが丁寧にお断りのメッセージ送っても、罵倒、罵詈雑言のメッセージの後向こうからブロックとか普通です。

精神状態が不安定なのであれば、そうされる事であなたが傷付いてしまうと思うのでこのままブロックの方がいいと思います。

相手の男性は、傷付くこともなくさっさと次を探すだけなので気にする事はないです。

第三者目線で見ても明らかにダメなやつです
容赦無くブロックしましょう
丁寧なお断りも要らないです

質問者さんのお心遣いは素敵ですが、既に相手が穏やかではないので、双方平和的というのは無理です。
そのまま素直に、「いきなり泊まりとかは怖くて、多分フィーリングも合わないと思います」的な感じでいいかと思います。