2回目なのでお相手は単純に打ち解けたと感じてちょっと飲むだけのデートを提案したのかもしれませんね。タクシー代も親切心かもしれません。
ただ、まだ浅い関係で23時というのはどんなお仕事であろうと非常識なお誘いではあります。
コミュニケーションの行き違いの可能性も高いですので、一度今の段階はこういうお付き合いをしたい、遅い時間に会うのは単純に怖いという事をお伝えすると良いかと思います。

？？
その後何もなかったんですよね？違ったのでは？

「すぐに会いたいから仕事終わりの夜を
提案されて、わたしが仕事柄おそく(23時位)に飲もうと誘われた」←間違いなく体目当て。すぐに会いたいから=やりたいから。もっと誠実な人探した方が良いと思う。 

謝ったことで向こう主導ですよね、、もう。

体目当てかどうかはわかりませんが、そんなことで気分を悪くするのはね。真剣に向き合うつもりならしっかり否定して、不安にさせた事を謝ると思うけど。
いまの段階で思いやりに欠けてるように感じます。仮に交際したとして、フェアな関係を築けそうですか？

身体目当てですか？
という質問に怒って返答するあたり中身が子どもな男性ですね。
恐らく本気で好きではないと思いますし
このまま連絡続けてても相手の思うがままになりますよ。今すぐ連絡断ち切ったほうが良いのでは？

お相手とのやり取りや雰囲気などわからないので、なんとも言えませんが...
本当にあなたのことを考えているお相手なら知り合ったばかりなのに夜遅くに会おうとは言わないと思います。
残念ですが、体目当ての気がします。