電話だと声が少し上擦ってしまうとかないですか？実際に会っても声が無理なら生理的に合わないのかなあとは思いますが…
好みの良し悪しは人によって違うので、あなたの場合譲れない部分が声なので、別に失礼ではないと思いますが通話だけで決めるのはもったいないなあと私は思いますね。

人の好みですから声を理由に相手を決める・断る事自体は駄目では無いと思います。

しかし、外見・性格・年収など全てが理想通りの相手は希少で出会いにおいては時に妥協も大切ですから、ご自身の中で声がどの程度優先される条件であるのかはよく考えるとよいのではないでしょうか。

また「通話って大事じゃないですか？」というのは私も同意ですが、理由は声の好み云々よりもコミュニケーションが取りやすいかですしこれも人それぞれの価値観ですから、大事かどうかやその理由は人によるといえるかと。

電話の声と、実際の声は全く違います。
ちょっと細かいところ気にし過ぎかな、勿体無いです。
スマホのボイスレコーダーで自分の声を録音して聞いてみたらわかりますよ。

声って結構重要だと私は思います。
人は声を聞いた瞬間に、その人の「安心感・信頼性・魅力度」を一瞬で評価しています。声からおおよその年齢・健康状態・感情状態まで読み取れるからです。
恐らく質問者様は声だけではなく、テンポ感や間、抑揚などでも判断されているはずです。
自分の好みの声質だとしても上記が合わなければ居心地の悪さを感じるはずです。
『声のトーン』だけで判断するのではなく、声・リズム・間を含めて判断されるのが良いと思います。