まさかの既婚者

最近、ある男性とメッセージで
お話しました。
とても良い方で話しやすかったので
LINEの交換をしました。
特に会おうとかも無くお互いの趣味などの
お話をしてました。
だけど、翌日の夜急に電話が来て
私はあまり電話が好きではないので
とりませんでした。
そしたら、LINEが来て
「嫁です。電話にとって下さい」と来て
また電話が来て取りました。
奥さんはかなり怒っていて
「いつから連絡とってるの？」
「どういう関係？」
「会おうとしてるの？」など言われ
私は正直に答えて
「最近から連絡取っていて会おうとも
思っていません。LINEも見ての通り
お互いの趣味などの話しかしてません」
したら、「もう、連絡しないで下さい」
と言われ切れました。
今はその方を違反通報しブロックもしましたが
考えてみたらLINEには
私の顔や名前(苗字は書いてません)を知られて
いるので変な噂を流させそうでとても不安です。
この方と地元が隣同士なので知り合いに
知られる可能性があります。
どうしたらいいでしょうか。。。