会う前の電話がきっかけで、気まずい雰囲気。会わないほうがいい？

6歳年上の男性からいいねをいただき、1ヶ月近く毎日かなり色々な話題でたくさんやりとりをしていました。私は土日休み、彼はシフト制の休日なので、なかなか予定が合わず、今週末会う約束となりました。

一度電話で話しており、そのときもかなり話が弾んでいたので、実際に会う前にもう一度電話したいと私から提案し、一昨日電話しました。
かなり楽しみに電話に臨んだのですが、彼は花粉症がひどいようでずっと鼻炎と目の痒みを訴えており、その日休みで特に予定がなかったからのんびりしていたという割に随分と終始眠そうで、会話に集中していない様子でした。
「具合悪そうだし、ちょっと早いけど切り上げよっか。お大事にしてね」と私から伝え、電話を終えました。

その後「本当にさっきはごめんなさい」と彼からLINEが。
自分でも大人げないなと思いながらも、「我慢せずに言ってくれたら、今日は電話やめにしといたのに」と返信し、「気にせずいこうね」的なゆるいスタンプを添えました。

やっぱり感じが悪かったでしょうか？
もうすぐ2日経ちますが、既読スルー状態です。