子供を望まない彼

自分はバツイチ子無しです。
相手はバツイチで子供が3人(別居)います。
彼が原因で離婚したため元奥様へ慰謝料、養育費を支払っています。
離婚の原因は聞いていますし、彼も反省していて慰謝料や養育費の支払いで頭を抱えているので同じことは繰り返さないと思います。
悩んでいるのは、彼と結婚したとしても経済面の問題から子供を作れないかもしれないということです。
彼は老後など将来的なことも考えて副業もしていますが、老後までは余裕が無さそうな感じです。
彼は彼の事情から籍を入れずに事実婚が理想のようです。
私も私で一度失敗しているので結婚したいかというと踏み止まる気持ちがありますが、子供は欲しいと思います。
でも彼と一緒にいるとなると子供は諦めざるを得ないです。
彼との生活か、まだ見ぬ未来の自分の子供を選ぶか悩みます。