断っても失礼ではないですよ。もし断って相手の機嫌が悪くなるなら、会わない方がいいです。堅苦しい気持ちも分りますが敬語で会話する期間も人間性が分って必要だと思ってます。会ってもないのに敬語なしでいいですよ！とか私も言われたことがありますが、いつも断ってます。もう少し仲良くなれたらそうしますね、とか言ってますね。ただ、トピ主さんが相手のペースに合せてもいいかなって気持ちが強いならそれもいいと思いますよ。