　去年の夏、「私」は伊豆半島南端の下田に滞在中、城山の岬をめぐり、かつて明治の元勲・大澤照久侯爵が建てた「月澹荘（げったんそう）」という名の別荘にまつわる40年前の話を一人の老人から聞いた。その老人・勝造は、漁師の父が別荘番をしていた関係で、大澤照久侯爵の嫡男・照茂と幼友達であった。照茂は侯爵が亡くなると家督を継ぎ、大正13年（1924年）に20歳で結婚した。その夏、新婚夫婦は月澹荘を訪れたが、翌年の秋に別荘は火事で焼失した。無人の別荘の出火の原因は不明だった。それを機に夫人は別荘の土地を下田へ寄附する旨の手紙を勝造に送った。その手紙の送り主が主人の照茂でなかったのは、その年すでに照茂はこの世にいなかったからだった。

　新婚の照茂夫人は、初めて月澹荘を訪れたとき、庭で誰かの視線を常に感じていた。照茂が死んだ翌年、夫人は一人で月澹荘を訪れ、夫がなぜあんなふうに死んだのか、何か秘密の事情を隠しているらしい勝造に問うた。勝造は2年前の出来事を語りだした。

　それは照茂が結婚する前年、照茂が19歳、勝造が18歳の夏だった。城山を散策中、二人は白痴の娘・君江が赤いグミの実を摘んでいるのを見かけた。照茂は君江の腰をじっと見つめ出し、勝造に君江を強姦するように命令した。殿様の言うことに忠実で従うことしかできなかった勝造は、しゃにむに目的を遂げようと君江を襲った。その間、照茂はじっと冷酷な感情のない澄んだ目で、泣いて咽ぶ君江の顔を至近距離で水棲動物の生態を観察するかのように見ていた。君江はその視線から逃れようと必死だった。勝造の秘密の告白を聞いた夫人は、なぜ君江が勝造でなく照茂を憎んだのか納得した。そして結婚以来一度も夫婦の契りがなかったこと、夫はただじっとすみずみまで熱心に見るだけだったことを勝造に告げた。

　照茂は夫人と月澹荘を訪れた夏、岬近くの茜島という小島へスケッチに行ったまま、崖で死んでいたのだった。頭を砕かれ海へずり落ちそうになっていた。勝造はそれを一目見て、君江が殺したのだとすぐ解った。照茂の両眼はえぐられ、そのうつろには夏グミの実がきっしり詰め込んであった。