誤字？訂正です

>小学生に上がった頃くらいの記憶はあるのに、"それ以降の記憶"がどうやっても思い出せない。

"それ以前の記憶"の方が自然な表現かと思います。
この後の文脈では小学校より過去の記憶を話しているので、"以降"より"以前"とした方が直感的に捉えやすいと思います。