潘黃家齊雙姓「潘黃」，家族中只有男性才有雙姓，女性就只單姓「潘」，自小就常問父親為何他們家族有如此奇怪的姓氏，年紀稍長才知道是姓黃的曾祖父渡海來台，當時可能是讓潘姓平埔族酋長招贅或是當契子，從此家中男丁都要冠上雙姓「潘黃」，表示不忘本。
潘黃家齊表示，因為特殊的雙姓，每次入學或編新班，老師和同學總是最先注意到他，讓他不敢做壞事，不過卻也因為名字太特別，找回差點錯失的姻緣。
潘黃家齊說，當兵時，親友介紹他和在南投縣當老師妻子相親，但約定的那日，卻因軍中臨時有任務取消休假，讓他爽約，過了一年後，他退伍回到南投縣任教，暑假過後被借調到教育局，當初被他放鴿子的妻子陳惠敏剛好也借調該處，妻子因其名字太特別而印象深刻，兩人一當同事很快就熟稔、交往並步入禮堂。