お断りをしたいです。

マッチングした方と来年お会いする約束をしたのですが、やり取りするうちにギャンブル疑惑が浮かび上がり一気に冷めてしまいました。
この冷めた気持ちでお会いするのも申し訳ないと思いお断りをしたいです。
こういうのは慣れていなくて、あんまり傷つけないように言いたいのですが、どのように送ったらよいでしょうか？時間は未定ですが日付は確定してしまいました。