潘世偉請辭消息傳出後，勞動部長辦公室下午陸續湧入各地工會送來的支持花籃。人在法國的潘世偉妻子郭婉玲，得知先生請辭消息也感到驚訝，除打電話關心外，還特別錄了一段音為先生喊冤。
郭婉玲錄音談話表示「信任先生為人」，指出潘世偉雖然繁忙，但都會交代行蹤，她不僅認識王姓女秘書，也知道先生常與對方碰面，「我先生很在意我們這家，謝謝。」
此外，王姓女秘書的父親晚間也發出聲明表示，潘世偉是王家多年的朋友，他照顧家中3個女兒就像子女一樣，還曾南下為女兒證婚，強調「相信他的為人」。
王父指出，對於週刊「惡意扭曲」潘世偉，除了替他打抱不平外，也很捨不得女兒，希望不要「為難願意認真為國家做事的人」。