ご感想ありがとうございます。
これは「どっちも」と思います。
男性の方は社畜で、ほぼ寝に家に帰っている状態だったのだと思います。
そんな中、語り部の方は細心の注意を払っていたため、男性も「自分の家にまさか人がいる」なんて思いもしなかったという点で、気づかれなかったと考えられます。