ごめんごめんが口癖の人はモテないから、あんまり謝罪したくない心理は働くね。
ごめんごめんが口癖な男を嫌う女性は多いよ。
要所要所で謝罪するは案外難しい。
ここで軽く謝罪すべきか、かと言って舐められたく無いしなとか考えるよ。
女性は、男性が下だとわかると容赦無く態度を変えるからね。

私はその彼とは縁がなかったと思ってお断りします。

そういう小さなことに謝罪は要らないでしょって考えの人と、小さことでも約束破ったら謝る人の2つに分かれると思うんですよね。
どちらがいい悪いではないと思います。

ただ私は「謝る派」なので、同じ考えの人じゃないと合わないです。

その程度の相手だったということです。
当たり前のことができない常識が無い方と連絡先交換しますか？
そんな方とお付き合いできますか？
考える余地もないかと思います。

もともと電話で話すつもりは無かったかもですね。