びっくりして断ってしまうと思います。
まずは少しずつお話ししてみて、仲良くなってからお食事に誘えばよいと思います。

二人では無理ですね。仲のいい人と数人でなら参加します。そこで印象が変えられるかもしれませんよ。それを何回か行ったあとに誘ってみるのが良いかと思います。