國家檔案局表示，民國54年，中共如火如荼展開文化大革命，政府為推動中華文化復興運動，同時紀念國父孫中山先生百年誕辰，決定在陽明山興建中山樓，並以著名建築師修澤蘭設計的中國古典式建築風格為基礎。
當年10月，國軍退除役官兵輔導委員會榮民工程處承攬建築工程，動員千餘名員工日以繼夜趕工，即使雨天也照常作業。中山樓建築基地位於地質不穩的硫磺坑上，當時，尚無在硫磺坑上打造建築物的前例，加上地熱逼人、空氣惡劣，以及土質軟硬交雜，更添增工程的難度。
55年11月6日，榮工處克服種種障礙，中山樓建築工程竣工，締造台灣建築工程工期最短的紀錄。中山樓是紀念國父誕辰百年而建造，在入口牌樓鐫刻孫中山先生墨蹟「大道之行」，內部設計皆以百為數，如樓內階梯為100階，左右扶手頂上的大理石壽桃各100顆。
11月12日，中山樓舉行隆重的落成典禮，並且紀念國父一百晉一誕辰。翌日，中山樓開放參觀，蜂擁而至的民眾把陽明山擠得水洩不通。此後，每當中山樓對外開放參觀，各地民眾爭相參觀，曾創一天5萬人次。
61年2月，第1屆國民大會第5次會議移至中山樓舉行，之後，中山樓成為國民大會專屬議場，也是總統公民直選前的選舉處所。國民大會每年至少召開1次會議，每次會議期間約2至3個月，中山樓成為見證我國憲政發展的重要場域。
至89年，國民大會虛級化，不再定期召開會議，中山樓常態性功能消失。94年，國民大會走入歷史，台北市政府將這座充滿山中傳奇的歷史性建築物，劃為市定古蹟。近年來，中山樓轉型與活化，提供民間租用，也開放一般民眾預約參觀。