投稿が少し前なのでお返事はいただいているかもしれませんが一応。
お気持ちは分かりますが、一晩程度なら連絡不精な方ならあるあるです、気にせずいきましょう。

むしろ余計なお世話で申し訳ないですが相談内容以上に初対面でドライブデートをされた点が気になりました。
"密室"
"どこにでも連れていけてしまう"
"嫌だと思った時に逃げられない"
ぱっと考えるだけでも危険要素が３拍子が揃ってしまうドライブデートは初対面での個室居酒屋と同等以上に悪い意味で定番コースです。
(下心関係なくそもそも同乗者の命を預かる責任が生まれるのが運転ですし)

今回楽しく終わったように皆が皆危ない人という訳では無いのですが今後別の方ともデートをするとなった場合にドライブデートを提案された場合はどうかお気をつけて…