台灣勞工陣線秘書長孫友聯說，潘世偉表現不好是勞團的共識，包括基本工資、派遣、外勞問題都沒有處理好，這都足以要求一個部長下台，但今天他的緋聞爆出，是他自己要去承擔、釐清或說明。全國關廠工人連線代表陳秀蓮也說，潘世偉對於勞工的惡劣作為，早就證明他不適任。
黑色島國青年成員魏揚昨也在臉書上說，潘世偉平時到誰家過夜、睡覺上床與人民有何關係？「我比較在意他在當勞動部長時到底幹過哪些狗屁倒灶的事，每一件都比今天的事情值得全民關注吧？」他認為，比起政府官員私事，其政績更值得人民檢視。
婦團：報導內容難評論
婦女新知基金會秘書長林秀怡說，就週刊報導內容很難認定潘世偉是否利用權勢關係對女下屬提出性暗示或性邀約，也無法得知兩人間是否存在任何利益交換，因此不願評論。