デート行くか悩む….

先日、4個上の方とランチに行ってきました。

とても紳士的で優しくて素敵な方とは思いました。
2回目のデートも誘われたのですがあまり乗り気ではなく、この気持ちのままデートに行ったら相手に失礼でしょうか？

まだ1回目だから分からないと言うのもあり、
雑談の中の話で彼は浮気したことがあるらしくて
そのことがずっともやもやしててあまり会いたいと言う気持ちがありません。

どうしたらいいのでしょうか？
何日か考えてみたのですが分からなくなったので質問させてもらいました。