不過，對於立委追問，行政院可能在十一月拍板自由經濟示範區的本外勞薪資脫鉤，潘世偉是否因此下台？潘只回應，「我們會爭取，絕對不會讓本外勞薪資脫鉤」，但不願承諾是否賭上烏紗帽。
勞委會前主委王如玄因基本工資不漲、本外勞薪資脫鉤議題，槓上行政院而下台，新主委潘世偉面對相同議題是否「王規潘隨」，昨引發朝野立委追問。
潘世偉在答覆民進黨立委劉建國質詢時指出，不支持本外勞薪資脫鉤，勞基法規定本勞、外勞均一體適用，且從人權來考量，涉及國際兩公約是否衝突；還有，台灣是出口導向國家，要與其他國家洽簽自由貿易協定，如與美國洽談TIFA、TPP過程，是否有不公平貿易情形，這些都必須考慮。
民進黨立委趙天麟則問，若行政院仍堅持本外勞薪資脫鉤，甚至十一月拍板自由經濟示範區的本外勞薪資脫鉤，潘世偉如何決定去留？潘世偉說，到現在還沒有，不回答假設性問題；趙天麟則揚言，若屆時潘世偉守不住，他將杯葛勞委會預算，甚至勞動部的成立。