老友謝雷說,當年潘退出歌壇在美國做成衣生意,他到美國演出,看潘天天都穿得體面,虧他「穿這麼漂亮,要給誰看呀」?曾和潘合作的製作人黃開芳說,潘第一次到北京商演時,北京報紙標題「台灣老藝人來大陸」,潘差點瘋掉,「他很氣啊,怎麼講他是老藝人!」
他靠健走養生,常拉朋友去大安森林公園「走路」,「基本消費」5圈起跳;王海玲常被他邀去健走,誇他「曲線好到爆」,但一聽每次要走兩小時,她從沒去過。
韓賢光說,潘拍MV,只要頭髮掉到前面,就要求重來,唯一的例外是到澎湖燈塔拍MV,海邊風大,潘毫無辦法控制頭髮亂飛,但燈塔又是重要場景,潘只好妥協,留下一頭亂髮的難得畫面。
許景淳說:「他很注重打扮,每次都希望看起來漂漂亮亮,他很體貼,也不希望大家為他傷心,就讓我們記得他是最美麗的帥哥!」兩人認識20多年,常一起演出,潘忘情不了民歌,「他曾開心說,在周美玲導演的《漂浪青春》客串,當時我負責配樂,非常有緣。他是個隨時看起來很輕鬆自在的人,總是溫文儒雅像書生,從沒看過他緊張!」