江揆指示潘說清楚
對於潘世偉與女秘書傳不倫，行政院發言人孫立群昨說，行政院長江宜樺已指示潘對外說明清楚。
民進黨立委李俊俋說，他自己也當過政務官，從來就不會在深夜進出女部屬的住處「談公事」，這種理由是要說服誰？看看馬政府過去朱雲鵬、胡幼偉、陳希舜等案例，希望潘世偉能知所進退。
李俊俋並認為，潘世偉早就該下台了，光勞動部升格當天，他就被質疑職業災害保險法、家事服務法等法案，及全面週休二日等政策都跳票；今年勞動節，還有二萬名勞工走上街頭訴求「反低薪、禁派遣」。潘世偉的政策失敗，從來就無法解決勞工的問題，怎還能續任下去？
民進黨立委邱議瑩表示，雖不願評論他人的私事，但潘的解釋實在是「太離譜了」。她認為，現在已經不是潘個人是否下台的問題，他會被長期跟監，深夜進出女部屬住處應只是連環爆的第一爆。
馬政府桃花朵朵開
加上潘世偉，江內閣今年來有兩名政務官傳緋聞，而馬政府六年來則有五位政務官染桃花，已有三人因此下台，堪稱「桃花朵朵開」。
今年四月，當時工程會主委陳希舜與台科大工商設計系主任王韋堯爆不倫，在學運期間，陳十天七次夜探女教授香閨。陳雖嚴予否認，並表示「雙方非男女之情、拜訪女方住處是討論公事」，但經江揆二度約見後，隨即同意請辭。
二○一二年，時任行政院發言人胡幼偉在臉書自爆，與相差廿七歲的女研究生發生師生戀，隨後請辭獲准。
二○○九年，時任政務委員朱雲鵬被媒體踢爆「蹺班把妹」，在上班時間和小他二十三歲的黃姓鋼琴老師出遊，朱事後解釋早已離婚，並無不倫，但為保護戀情，四天內請辭獲准。
去年底，已婚的蒙藏委員覺安慈仁也遭踢爆，上班時間與一名熟女共進午餐後，赴知名摩鐵開房間，覺安慈仁事後稱遭陷害，但僅被記大過。