これどう言い返せばいいのか

「もっと構ってよ」ってことだと思うので、話しかけるように気をつけていけばよいのではないかと

返さなくていい、と言うかそれが本当なら返せないんじゃないでしょうか。

男性はシングルタスク、女性はマルチタスクと言われていますので、投稿者さんと彼女さん（？）の場合、それが極端に出た結果なのかなと思います。