辛いのは無理してるってことだと思います。
普通は、一緒にいて楽しい、居心地がいい、というものが理想的だと思います。
辛くても一緒にいたいなら良いですが、きっとそれでは長く続かないです。
一度、今の気持ちを彼に話してみてはどうでしょうか。我慢することではないと思いますし、それを話してダメになるならどちらにせよその程度ということです。
すぐに別れようではなく一度気持ちを話し合うことは必要かと思いますよ(^^)
頑張ってくださいね！