大事な伏線は回収必須ですが、それ以外はそのまま放置でも良いと思います。
後日談でも書く時に回収してあげてもいいですしね。