質問者様から誘ってみても良いと思いますよ！何回も断られているのに何回も誘っているわけではないので、別にガツガツもしてないと思います。2回も男性の方からお誘いを頂いてるということはその男性も少なからず質問者様に興味があったり色々知りたいなと思っているかと^^ お二人が上手くいきますように♡ 応援しています！

誘うこと自体は男性も嬉しいんじゃないですかね？
ただ、昼間だったのがディナーのお誘いだとちょっとガツガツしちゃうんじゃないかと思うので、私だったらただ単にお誘いするか、お会いしたいですってだけ送ります！そこから具体的な日程や都合を聞かれたりしなかったらあきらめます。。。

僕個人の意見ですが、男性側もどれくらい好意を持たれているのか不安な気持ちがあるので女性から誘ってもらえると嬉しいと思いますよ。