相手に興味が持てないけど会う

失礼ではないと思いますよ
この辺はお互い様で、可能性があるなら確かめる意味でのデートです

価値観は大事なので、合う合わないは優先事項ですが会いたい気持ちがあるなら3回目くらいは様子を見たらいいと思います。ただ3回目のデートで相手から何かしらアクションがある場合もありますので、すぐに返事できないときは素直にお伝えしたらいいと思います。人を好きになる熱量やタイミングは十人十色なので、恋愛相手として向き合うより人としてまずは好意を抱けるか考えてはどうでしょうか。