対面でのLINEの断り方

マッチ後、実際にお会いして合わないなと思った方に、別れ際にLINE交換して欲しいと言われました。正直嫌だったのですが、どう断っていいかわからず交換してしまいました。
うまくフェードアウトできず、結局LINEもブロックすることになり、今となってはLINE交換しなければよかったと思っています。
メッセージ上でなら断れるのですが、対面で断るとなると難しいです。。。後腐れなく断るにはどうしたらいいでしょうか？
相手に嫌われたくないとかではなく、「何がだめなんですか」とか聞いてきちゃいそうなちょっとややこしそうな方だったので、こう、スパッと「そうですか」と言われて終われるような言い方を探しています。
こう断ったことがある、こう断られたが納得できたなど、ご経験がおありでしたら教えて頂けないでしょうか。