國軍人數由過去四十餘萬人，逐漸減少到二十一萬餘人，不僅官兵人數大幅減少，軍方許多單位也隨著必須精簡，或是面臨裁撤命運，全國憲兵隊數量大幅減少，不復當年風光景象，遭裁撤的憲兵隊營區更是命運多舛，有的移做警察分局使用，有的則是成為空置大樓，等待政府決定最後用途。
「憲兵隊及憲調組過去真的很風光！跟現在完全不一樣」，一位資深憲兵官員感慨說，過去各縣市政府在提報流氓對象時，必須要召開縣市的流氓審查會議，能參加會議的治安單位只有三個，包括縣市調查站主任、縣市警察局長，另外就是縣市憲兵隊長（兼憲調組組長）。
「在那個年代，真的是走在路上都有風」，這位資深官員說，有提報流氓的權力，讓各縣市憲兵隊的隊長，在地方上與各治安單位首長平起平坐，「現在卻有點矮人一截的味道」。
憲兵依法具有軍、司法警察身分，任務集執行特種警衛、情報蒐集、刑案偵辦、反恐行動及維護社會安定等功能於一身，還要配合檢察官的指揮，去掃蕩其他治安單位「不便衝、不去衝」的敏感勢力。
台北市華西街早年充斥色情行業，警方多次執行掃蕩工作，都沒有辦法徹底清除，檢察官劉承武因此指揮以憲兵為主體的掃蕩隊伍，大規模搜捕華西街非法私娼，在當年轟動一時。資深憲兵官員說，警方多次執行任務卻沒有達到預期效果，「其中因素很複雜」，檢察官改找憲兵擔綱，確實讓憲兵的聲威大為提振。
然而，隨著軍方近十餘年執行數次的組織精簡，各地憲兵隊、憲調組的命運也隨著精簡政策而改變。先是檢肅流氓條例廢止後，憲兵調查組被裁撤；國軍官兵員額大幅減少，憲兵隊、憲兵營也因此隨之精簡或是裁撤。
資深憲兵官員說，早年在各縣市都設有憲兵隊，駐軍多的縣市，或是人口眾多的直轄市，不僅有憲兵隊，還設有地區分隊。以桃園為例，既有桃園憲兵隊，也設有中壢分隊；台北市除設有台北市憲兵隊外，還分別在台北市各區設有東、南、西、北區等四個憲兵隊，合計達到五個憲兵隊之多。
如今可不一樣了，全國憲兵隊（含憲兵分隊）的數量由扁政府時期的二十九個，到今年只剩下二十一個，根據國防部的五年兵力整建計畫內容，未來還要再降為十八個，有些縣市的憲兵隊還可能再併為一個。
憲兵隊大幅裁併，空下來的憲兵隊營區，如果位在熱門地段，則是相當搶手，成為各單位爭奪的目標。像是位在台北市敦化國中隔壁、原環亞商圈地標的台北市東區憲兵隊，在遭到裁併後，原營區目前就由警方松山分局使用中；而花蓮憲兵隊位於花蓮三民街的舊址，兩年前在憲兵隊搬遷後，這個有百年歷史的舊址，就成為花蓮各方積極爭取活化利用的目標。
至於位在總統府後方的台北憲兵隊，由於是與憲兵二○二指揮部合署辦公，又需兼負博愛特區防衛重任，是最接近總統府的實兵作戰部隊，儘管面臨軍方各項精簡要求，重要性仍是不減當年。