報導說，谷俊山1956年（一說1954年）生，河南濮陽人，1971年初中畢業即加入解放軍。1985年在解放軍大規模裁軍下，憑藉岳父關係調往老家濮陽軍分區，並與河南「中原油田」聯合開辦工廠，谷俊山擔任副主任，將廠內原物料對外私賣，並以豐碩獲利成功經營軍中人脈。
1995年，谷俊山調升濟南軍區生產辦公室副主任，官位快速爬升，當上濟南軍區陸軍指揮學院副院長，並前往解放軍國防大學進修。2001年，谷俊山調往中央，擔任解放軍總後勤部基建營房部副部長。2003年，谷俊山晉升為少將。
2007年6月，谷俊山由基建營房部副部長升為部長，並兼任全軍房改辦公室主任。2009年，他升任解放軍總後勤部副部長，並在2011年晉升中將，達到軍旅生涯的最高峰。
2012年2月，中共軍方宣布谷俊山不再擔任副部長，但未接任新職，立即引起揣測。同年5月，海外媒體傳出谷俊山因涉貪遭到調查，而證據則不斷透過特定媒體傳出，涉貪事證頗為驚人。
最受矚目的是，谷俊山在河南濮陽老家，花鉅資興建一座占地近14畝（約達2800坪）、裝飾得雕樑畫棟的的豪宅，被稱為「將軍府」。但土地來源卻是他么弟谷獻軍擔任當地中共村支書期間，從村民手中強徵而來。
陸媒報導，今年1月12日深夜，解放軍軍事檢察院偵查人員全面查抄谷俊山的將軍府。抄出的物品中，光是茅台酒就裝了兩卡車，此外還有純金打造的帆船、臉盆及毛澤東像等，足足裝了4卡車。