　源氏が後見する斎宮（六条御息所と前東宮の娘）は入内して梅壺（凝花（ぎょうか）舎）に入り、女御となりました。冷泉帝ははじめ、年上の斎宮女御になじめませんでしたが、絵画をたしなむ共通の趣味が見つかったことで接近します。

　一方、娘を弘徽殿女御として先に入内させていた権中納言（元の頭中将、源氏の親友）はこれを知り、豪華な絵を集めて冷泉帝の気を惹こうとします。この頃、宮中では、絵を批評するのがはやっていました。藤壺中宮の御前では物語絵合せという、『伊勢物語』や『うつほ物語』、『竹取物語』などを描いた絵を競わせるイベントが開かれました。これをきっかけに、帝の御前でも絵合せ行事が開かれます。これはただの行事ではなく、内大臣光源氏の後見する斎宮女御（梅壺）と、権中納言の後見する弘徽殿女御との、華々しい戦いでもありました。判者は源氏の異母弟である帥宮（そちのみや）（蛍（ほたる）兵部卿宮（ひょうぶきょうのみや））が務めました。

　古今の絵を合わせて勝負しますが、決着はなかなかつきません。しかし、この勝負を決着に導く絵が登場します。それは、源氏が自作した、「須磨の絵日記」でした。これを見た帥宮をはじめとする人々は、その見事さや一時政争に敗れた源氏の運命を思い出し、涙します。こうして梅壺方の勝利に絵合せは終わりました。

　その後、源氏はこの絵日記を藤壺に献上し、いつか出家するときのためにと、嵯峨野に御堂の建立を始めるのでした。