1934年6月末の長いナイフの夜の突撃隊幹部の粛清ではハインリヒ・ヒムラーとラインハルト・ハイドリヒが主導的役割を果たしたため、ハイドリヒの指揮下にあるもう一つの組織SDとともにゲシュタポは一連の粛清に深く関与することとなった。

　ゲシュタポは粛清リストを作成し、さらにその実行である暗殺や処刑にも参加した。

　ゲシュタポのコマンドはエーリヒ・クラウゼナーを運輸省内で殺害し、前首相クルト・フォン・シュライヒャー大将とフェルディナント・フォン・ブレドウ少将を殺害した。

　ハイドリヒは、有能な人材をゲシュタポにかき集めることから始めた。

　まずバイエルン州警察時代の部下たち、ハインリヒ・ミュラー、フランツ・ヨーゼフ・フーバー、ヨーゼフ・マイジンガーらをベルリンのゲシュタポへ招集した。

　さらにベルリンの警察にも目を付け、ベルリンの刑事警察官アルトゥール・ネーベを取りたてた。

　またハイドリヒはドイツ各地から法律家や専門家を集めたが、その中にヴェルナー・ベスト博士がいた。

　さらに1935年初頭にゲシュタポの機構改革が行われた。

　各「課 (Abteilung)」を3つの「部 (Hauptabteilung)」に統合することとしたのであった。

　ゲシュタポは、1部（行政・司法）、2部（政治警察）、3部（諜報警察）の3つの部から構成されることとなり、そのうちゲシュタポ全体の統括と2部の統括をハイドリヒ自身が行い、1部と3部をヴェルナー・ベストが統括した。

　ハイドリヒの統括する2部は、「マルキシズム」担当課（共産主義者や社会主義者の取り締まり。課長ハインリヒ・ミュラー。）、「反動、非合法活動、教会」担当課（キリスト教会や保守の反ナチ運動取締り。課長フランツ・ヨーゼフ・フーバー。）「NSDAP、堕胎、175頁、純血問題」担当課（ナチ党内反ヒトラー活動、堕胎、同性愛、ユダヤ人との交際取り締まり。課長ヨーゼフ・マイジンガー。）など6つの課から構成されていた。

1936年2月10日に第3ゲシュタポ法が制定され、以降ゲシュタポの職権はプロイセン州に限らず、全ドイツに及ぶことが定義された。

　ただしこの法律公布後もゲシュタポは、その正式名称にプロイセン州をふくむドイツ全国を指す「Reichs（ライヒの）」を冠さず、「Staats」の名称を冠したままであった。

　またこの法律によりゲシュタポは法を超越した存在である事が確認された。

　すなわち裁判所にはゲシュタポの決定が合法であるかどうかの審査権はなく、また裁判所で無罪判決を受けた者であってもゲシュタポは逮捕して「保護拘禁」することが可能となった。

1936年9月20日にはゲシュタポ局長が各州の政治警察司令官となることが確認された。

1936年6月17日、ヒムラーは内相フリックに下属する全ドイツ警察長官 (Chef der Deutschen Polizei) に任じられた。

　この地位はすべての警察所管事項を管掌するものであったが、内相の指揮下にあるとは明言されていないものであった。

　6月26日、ヒムラーは州政府の警察権を中央政府に移管させ、政治警察であるゲシュタポと刑事警察（殺人・強盗など凶悪犯罪の捜査にあたる警察機関）のクリポ (KriPo) を保安警察（Amt Sicherheitspolizei, 略号: Sipo）として束ね、改めてラインハルト・ハイドリヒに委ねた（なお秩序警察（オルポ（Orpo）、政治警察でない通常警察）はクルト・ダリューゲに委ねられた）。

　ハイドリヒは保安警察を「行政・法制局」、「政治警察局」、「刑事警察局」の3つに分けた。

　このうち「政治警察局」がゲシュタポであった。

　「政治警察局」（ゲシュタポ）は、これまで通り1部（行政・司法）、2部（政治警察）、3部（諜報警察）の3つの部から構成された。

　ハイドリヒは政治警察局の局長にハインリヒ・ミュラーを据えた。

　同じくハイドリヒの指揮下にあったナチ党の諜報組織親衛隊諜報部 (SD)とゲシュタポは職務区分が明確でなかったため、反目することがあった。

1935年の段階でゲシュタポ本局の職員の3割がSD隊員であるなど高率であった、プロイセン州全体のゲシュタポ隊員のうちSDは9%に満たなかった（親衛隊員は全体の20%）。