はっきりしないと言うより、投稿者さんの反応見て楽しんでる気がします。

「私も行きたい」とかって返事を待ってるのかもしれませんが、めんどくさい人ですね。

さっさと別れたらどうです？

それは気苦労が絶えないでしょうね。
おそらくですが、その彼は「あなたが気乗りしないことには巻き込まないのが優しさ」だと思っている部分と、「断られて傷ついたり、自分の評価を落としたくない」という保身とが入り混じっていると思います。
あなたが困惑していて、こういった掲示板に投稿するほどストレスを感じてるとは夢にも思っていないでしょう。付き合いを続けるなら早めにはっきりそういう言い方が困ると伝えた方がいいと思います。

はっきりと言わない人っていらっしゃいますよね…前付き合ってた人がそういうタイプでした。
自分に自信がなくて相手に断られるかもって気持ちから、誘うことが出来ないんだと思うんです。
もし彼氏さんが単に世間話として会話してるならいいんですけど、一緒に行きたいって言ってくれたらな〜察して欲しいな〜って思ってるんだとしたら、はっきり言って欲しいと伝えた方がいいと思います。
私は常に
「次〇〇行こうと思ってる！」
「楽しそうだね〜」
「じゃあ一緒に行く…？」
みたいなパターンになってたんですけど、言っても改善しなくて、段々とイライラして来てしまったので、質問主さんがこれから先ずっと気にしてしまうくらいなら1回伝えてみるのも手だと思います。