断ればいいかと？あなたもあなたで流され過ぎですよ。

ほぼ同じ質問が同日に２つ投稿されているので、より情報が細かいこちらに回答させていただきます。

私の価値観ではこの段階の男女旅行に行くのはどう考えても早いですね。
とはいえ旅行好き同士だと価値観は変わるのかもしれませんし(例：ディズニーオタク同士なら初対面でディズニーに行ける等)
一方お相手の年齢を考えると他の男性より焦りがあって過程をすっ飛ばしたのかもしれません。

正直に申し上げるとそこまで疑問を感じていながら相談者様がその場では旅行に同意された(？)事も不思議です。
片方が抵抗を感じている中で旅行というのは互いによくないですし、今からでも断るべきかと思います。