二回目のデート

あなたがその人のこと好きなら良いんじゃないでしょうか

また行きたいなら誘えばいいと思います。失礼には当たりません。
ただ、相手は会話がない＝楽しんでないと思ってるかもしれないので、楽しくなさそうだったのになんでまた誘うんだろうと思う可能性はあります。

あなたの外見次第です。
イケメンなら話つまんなくてもいいって人多いですよ！

失礼でも進展しなかったら意味ないので誘ってみては？
挽回させてくださいとか言って

いいえ、逆に貴方の魅力を出せる絶好の機会だと思います！

そのパターンで2回目誘われたことありますが、失礼ってより｢何故この人2回目も誘ってくるんだろう……｣って感じだったので誘わない方が無難だと思います。

良いんじゃないですか？
あなたが誘うのも自由ですしお相手の方が断るのも自由です。