＞どうぞお気になさらず」
＞「いや……ここで気にするのは私の方じゃない？」

　「私は気にしておりません」とかだったら、気にするのは自分の方だとの主張も当然なんですが……？

「どうぞお気になさらず」を丁寧に言い直すと、
『どうぞお嬢様はお気になさらないで下さいませ』って事でしょ？　それに対して「気にするのは私の方」だと主張するのは、ぶっちゃけおかしくない？

無難に『これを気にするなは無理じゃない？』とか、あるいは『あなたこそ気にするべきなのではなくて？』的な事を言うとかだったら、違和感もなかったんですが。