台南出生的潘世偉現年57歲，育有2子，初中愛打籃球，大學時在校內工讀賺錢，並出國深造，是美國康乃爾大學產業及勞工關係博士；他出國念書前，曾在民間從事工會工作10餘年，主要經歷包括：國際金屬工聯中華民國委員會國際組長、台灣省機械業產業工會聯合會總幹事等。
留學返台後，潘世偉在文化大學擔任勞動學研究所暨勞動及人力資源系任教，兼任全國總工會秘書長；因學經歷豐富又具學者背景，馬英九競選總統時，潘世偉是勞動政策起草人之一，為中國國民黨智庫中不可或缺的重要幕後功臣。
民國97年內閣籌組時，潘世偉曾是勞委會主委熱門人選，王如玄後來擔任勞委會主委，期間推動多項勞動政策改革及新勞動三法修法，潘世偉以勞委會副主委之姿從旁輔佐，同時在校園兼課。
勞委會同仁眼中，潘世偉與屬下溝通直言不諱，論理清晰，有學者風範，認真討論事情，即便「激烈溝通」但也不傷和氣。對媒體來說，潘世偉的口風緊，該說的才會說，時機未成熟，他常會以「現在不方便透露」，婉轉拒絕；談到複雜敏感的勞動議題，謹慎回答還會教授上身，順便「替媒體上課」。
潘世偉長期投入勞資關係事務，加上又有國際自由工聯（ICFTU）執委、國際勞工組織（ILO）大會代表團員等國際經驗，如今被內定接任勞委會主委，未來如何帶領台灣勞動政策，受外界關注。