生理的に無理

あらら、つらいですね…！
質問者様にお会いしたことないので、あくまでも私の場合、で思いつくことを書いて見ます。
シワシワの服だったりフケが肩に落ちている等、身だしなみが不潔に見えるとそう思うことがあります。
見た目以外ですと、口臭や体臭なども原因になるかと思います。
あとは自分のタイプではない特徴がある場合などでしょうか、、？(出っ歯、ハゲ、デブなど)
それから連絡頻度の感覚などか合わないとか。
うーん、あとは歳の差が許容範囲外の場合などかな。。
質問者様がどうとかではなく、あくまで私の場合ですが、ご参考ください。

人によりけりなのでご参考までにですが、
一般的に言われる清潔感がないなどの外見的要素だけでなく、こういう言動する人は無理というような内面的要素もあります。
私の場合、初めはいいなと思った人でも、これをされたら友達としても無理な言動をされると、体が勝手に拒否反応を示し一定距離以上相手に近づけなくなります。逆に、相手の容姿がタイプじゃなくても、そういう言動がなければ大丈夫です。
それこそ今彼は、不細工だし太ってるし肌汚いしフケも凄いけど、生理的にはギリ大丈夫だったのか、徐々に近づくことが出来ました。
対策としては、見た目をよくするに越したことはないですが、中身を磨くことも大事かなと思います。