　更衣はそもそも宮仕えをする女性の中でも、平凡な身分ではなかった。周囲からの評判も特に優れていらっしゃって、立ち居振る舞いも高貴なご様子だったのだが、帝がお呼びになる真っ当な理由もないのにやたらとお側に御仕えさせ、お仕えするのに相応しい音楽を楽しむ場はもちろんのこと、何かことあるごとに更衣を優先して側仕えさせた。またある時には、朝、お寝過ごしになられたにも関わらず、そのまま更衣をお側に付き添わせなさるなど、強引に自分の元から更衣を離させないようにさせることが多く、そうした帝の御振舞いが結果として更衣の評判を下げてしまっていたのだが、その更衣に御子が生まれた後は、この御子を大変特別にお思いになり、大切に扱いなさっていたので、ひょっとすると皇太子にはこの御子がたてられるかもしれないと、第一皇子の母である女御は疑いをお持ちになっていた。この女御は他の御側室の方々よりも早くから宮仕えをなさっており、帝との関わりも深かったので、帝もこの女御に対して他の方々よりも特別に思っていらっしゃっていて、一の皇子の他にも御子をお生みになっていたので、この女御の諌言だけは聞き入れざるを得なくて、帝はこの女御を気遣い心苦しい思いをしているという言葉をお漏らしになるのだった。

　更衣は恐れ多いことではあるが、帝を拠り所として頼りにし申し上げていたが、そんな更衣を軽蔑して、その粗を探す方々が周りに多くいらっしゃったため、その身も弱々しくなり、可哀そうなご様子となり、帝は更衣へのご寵愛が増すほどにかえって更衣は煩わしい思いをすることが多くなっていった。更衣のお部屋は桐壺というところだった。帝がその桐壺へ通うたびに数多の女御や更衣のお部屋を素通りすることになり、ひっきりなしに帝が桐壺のお部屋へ通うことで、それらのご側室の方々の心がかき乱され嫉妬心を燃やしてしまうというのも、実に当然の結果であるように思われた。帝が桐壺のお部屋へあまりにもひっきりなしに通うようになってくると、更衣の送り迎えをする女房が通る打橋や渡殿に、卑劣な仕掛けを繰り返し施して、その女房の着物の裾が痛んで着られなくなるようなことがあり、更衣の不都合になることなどがあった。またあるときには避けては通ることができない通り道であちらこちらで示し合わせて両側の戸を閉め、辱めて、更衣を思い悩ませることが多かった。ことあるごとに数えきれないほどの苦々しい経験ばかりが増えてきたことで、更衣がたいそうひどく悲しまれていることを、帝は大変気の毒に同情なさって、ご側室の方がお暮しになっていた後涼殿にあるお部屋を、桐壺の更衣のために空けさせて休憩するための部屋としてお与えになり、そのお部屋に元々住まわれていたご側室の方は別のところへ移されてしまった。そのお方の桐壺の更衣への恨みというのは如何ともし難いものだったことだろう。