お相手が怪しい人かまでは分かりませんが、丁寧に断ってみてもいいでしょう
まともな男性なら、仕方ないとわかってくれるでしょう
　
とはいえ、あくまで丁寧に断ってください
相手が真面目な人の場合でも、「別に何かする気はないし、今までもそういう印象を持たれることはしてないのに、そこまで信用無いのか」というように割とショックはあるので

事件に巻き込まれても文句を言わないって覚悟なら行けばいいのではないでしょうか。
本当はどんな相手かわからない、逃げることが難しい車、夜という他人に助けを求めにくい時間帯。
私なら断固拒否ですね。

食事だけなら夜でもいいかもしれませんが夜景ってなると場所にもよりますが、あまりオススメしません。夜景はお付き合いに発展してから楽しめばいいと思います。