町側へ出てくる人を案内しながら、俺は家屋がある方へ目を向けて罰が悪いと言った感じで口を開く。
↑
〈罰が悪い〉は誤りかと思われます。
気まずい意味なら
〈ばつが悪い〉が正しいかと。