どう断ろうか悩んでいます

お互いに時間の無駄にはならないのは、きちんと無理な理由を述べてからお断りすることですが難しいときは私なら他に気になる人ができたというか、前日に体調を崩してしまい会うのを延期してほしいと伝えます。それ以降は予定や仕事で会う予定を立てずフェードアウトですね。

シンプルに、かつ速やかに
「恋愛対象として見れません。ごめんなさい。」
とでも言っておきましょう。
女性が好むような間接的な言い回しや、察してもらおうとしたり、変に時間をかけて伝えるとかなり印象が悪いです。

「〇〇さんとお話しを重ねてみて、具体的にどこという事はないのですが、少し相性やフィーリングの面で合わないかも？と感じるところがあり、やりとりを終了させて頂きたいと思っています。
〇〇さんが何か悪いという訳ではないので本当に申し訳ないです。これまで3回もデートにお付き合い頂きありがとうございました！〇〇さんは良い人だと思うので、いい出会いがあると思います！お互い頑張りましょう！」
　
という感じでいかがでしょうか

重ねて投稿いたします。
他の方のおっしゃる前日に体調不良はやめておきましょう。お店の予約やら相手の予定やら、トラブルの元です。
前日に体調不良なら相手はまた予定を組み直そうと思うでしょうし、その上でやっぱり会いたくないというのは最低レベルで印象悪いです。そして場合によってはお店にも迷惑をかけます。
既に一度会ってる以上、相手が報復行為を取ろうとする可能性もゼロではありません。
気をつけてください。