普段全然喋らない変わった男から急に食事とかに誘われたら…

びっくりして断ってしまうと思います。
まずは少しずつお話ししてみて、仲良くなってからお食事に誘えばよいと思います。

二人では無理ですね。仲のいい人と数人でなら参加します。そこで印象が変えられるかもしれませんよ。それを何回か行ったあとに誘ってみるのが良いかと思います。

アドバイスありがとうございます。確かに大人数での飲み会でしか会う機会がなかったので、少人数で集まる機会があれば、実践していきます。