プロイセン王フリードリヒ2世が創設して以来、ドイツ（プロイセン）の憲兵隊はナポレオン戦争、普墺戦争、普仏戦争と拡大を続けたが、第一次世界大戦の敗戦で解散となってドイツ憲兵史はいったん中断を余儀なくされた。しかし1939年の第二次世界大戦開戦で憲兵隊の再編成が行われた[21]。

その中核となったのは秩序警察の国家地方警察（Gendarmerie）であった。国家地方警察は農村部など人口密度が低い地域を管轄するが、担当面積はかなり広いため自動車化部隊を備えていた。この自動車部隊が前線の軍警察任務に向いていると判断され、1939年9月の開戦後、1940年までに国家地方警察を中心として秩序警察の警察官1万3312人が国防軍に転属となり、そのうち将校280人、下士官7879人が憲兵となった[18]。

憲兵は交通規制、軍内の規律違反取締、占領地の治安維持などを任務とする[22]。憲兵は基本的に下士官以上しかおらず、最低階級は巡査部長（Rottmeister）であり、これは陸軍の下士官待遇兵長（Obergefreiter）相当とされており、憲兵下士官（Unteroffizier der Feldgendarmerie）と呼称されていた。憲兵下士官が憲兵軍曹（Feldwebel der Feldgendarmerie）に昇進するのは、最低5年の秩序警察勤務経験が必要とされ、さらに憲兵曹長（Oberfeldwebel der Feldgendarmerie）に昇進するには最低7年の勤務経験と軍曹として1年の勤務が必要だった。憲兵の最高階級は少将である[18]。

憲兵の最大単位は憲兵大隊であり、憲兵大隊は3個憲兵中隊からなり、憲兵中隊は3個憲兵小隊から構成される。小隊は職務に応じて分隊を編成し、分隊が活動単位の中心だった[22]。

憲兵は「Feldgendarmerie」（憲兵）と書かれたリンククラーゲン（ドイツ語版）を首から掛ける。夜間交通整理や警戒任務を想定し、リンククラーゲンの国家鷲章と両端のリベットには夜光塗料が塗られていた[23]。