私の実家をみた彼氏

彼氏にうわっボロ！と私の家を見て言われました。
付き合って３ヶ月くらいの同い年の彼氏がいます。
この前、遠出して帰るときに家の近くまで送るよと言われ、
初めて彼氏に実家を教えたところ上記の発言がありました。
そんなこと友達にも言われたこがなく、思うのは勝手ですが、口に出すことじゃないと思います。
自分から「私の家、古いからさ～」と言うことはあっても。
そのときは驚き、ただ笑って受け流し帰りましたが、あとからなんだか泣けてきました。ボロいかもしれないけど、祖父と父が一生懸命働いた、お金で買った家です。しかも、そこに私は家族と住んでいるんです。
なんだか家族をバカにされたような気がしました。
前に彼氏が、「思ったことを、すぐ口にするのが、俺の長所であり短所」と言ってました。
確かに、可愛いとか嬉しいことも率直に言ってきます。
でも、私のことを悪く言われるのはまだ我慢できますが、家族とかへの心無い発言は聞いてて辛いです。
でも本人は無意識に、つい口にしてしまうのだから直しようがないでないでしょうか。こんなことで悩むのはウジウジしすぎでしょうか？
最近好きなのか分からなくなってきました。