許小姐說，潘怕麻煩別人，不僅無酬，妝髮衣服都自己打理，吃飯也不麻煩人，都讓助理去買，很容易滿足，一碗麵吃得津津有味。有一次他到大陸商演，半夜回台，隔天要錄影，因他身體不好，問他要不要休息？他說沒關係，讓她非常感動。
潘長年吃素，與佛有緣。27年前妻子王志翔懷孕差點流產，他發願吃素10個月，果然母子均安。10多年前他父親罹患「主動脈剝離」，醫生束手無策，他發願長齋10年，誦地藏經並朝山跪拜，父親奇蹟式延命10年。他13年前在吉隆坡跌倒造成「主動脈剝離」，醫生誤診延誤就醫，他說一般人10分鐘就死了，「我居然拖了28天還沒死！」
人間衛視的同事說，潘很有福報，過世時感覺很多人幫他祝禱，「林口的霧好大，他像騰雲駕霧，到了西方極樂世界。」