後、私も自由に君の家に行こうと思うのだ。

つまり、今居るココがリーエ(主人公)の家ではなく、本当の家(主人公の正体)を知っているぞって言う事？
現在地が主人公の家の認識なら「行く」じゃなく「来る」だし