もちろん、ご指摘の通り、クライヴでも全騎士を洗脳してるわけじゃないです。大多数の騎士は善良で忠誠心にあつい方々です。
ですが、最近まで反抗期だった16歳と何も考えてこなかった11歳に裏切り者の判別は無理ゲーなので…

その上、後の「侯爵家はつらいよ」でもちょこっと描写してますが、クライヴは騎士長や侍女長のような管理職を狙い撃ちで洗脳or入替えして、組織としてハルバードを掌握してます。異常があったら普通の騎士に善意で上に報告されちゃう。

そんな状況なので、現時点ではディッツとジェイド以外全員クロとして動くほかない、って感じです。