港澳之友協會前身為「港澳之友委員會」。前教育部部長杭立武發起成立的「支援香港居民之友運動委員會」，於民國78年更名為「港澳之友委員會」，80年以「中華港澳之友協會」立案成為財團法人。
委員會設立之初，原意在因應香港、澳門形勢的變化。之後隨著兩岸情勢演變，港澳協會轉向為平台角色。
港澳之友協會秘書長張仕賢說，2000年政黨輪替後不久，兩岸官方交流幾乎停擺，但民間經濟、社會等交流卻開始熱絡；2002年後，時任總統府國策顧問翁松燃接任港澳之友協會第3屆會長，淡江大學大陸研究所教授張五岳接任秘書長後，轉變思維，專注於台港澳交流，讓港澳協會維繫「大兩岸關係」中的「小兩岸關係」。
港澳協會也在民國99年由前立法院副院長曾永權出任會長一職、去年由張五岳接任會長，張仕賢出任第5、6屆秘書長至今。
當年，還在淡江大學念書的張仕賢，因張五岳推薦進入港澳協會，他說，進入港澳協會時正逢民進黨執政，台灣、大陸政府因官方不便往來，遇到必要商討的業務時，都以香港、澳門做為溝通協商的平台，那時的港澳協會，即便是處理台港澳交流，「做得更多的其實是兩岸關係」。
兩岸關係自2008年馬總統上台後局勢改變，也建立許多官方背景的管道；但同時，台灣與香港、澳門關係有了更深一層的進展，相繼成立辦事機構，來往更加頻繁，港澳協會的業務量也開始大增。
張仕賢說，兩岸關係特殊，且習慣多講人情，因此，在兩岸相關議題間處事，更需要專職、專責，經營也要深入長久，港澳協會歷經十數年的經營耕耘，可望在現在的港澳關係中，扮演協調、溝通、諮詢的角色，協助兩岸關係走得更平更順。