吳世哲在立法院召開記者會發表聲明表示，從昨天勞動對談直播過程的民意反應，到今天上午在公民廣場的記者會上，輿論對他的提問，不僅讓柯文哲「開放政府，全民參與」的美意受損，更讓I-Voting及遴選制度蒙受不白指責。
他表示，雖非他有意，卻已造成柯文哲、柯辦黨政平台秘書長李應元及遴選制度的傷害。
吳世哲說，他冷靜回想當初力挺柯P的初衷，內心甚為惶恐。自忖85萬台北市民寄託的柯文哲，裡面也有數十萬勞動朋友的希望與愛護在內。「這一切一切難道要毀在我的手上嗎？」
吳世哲表示，「直覺告訴我，不管我的朋友如何期待，我已經決定不能讓對柯P或任何人的傷害無端擴大。」因此主動退出勞動局長遴選。
柯文哲推動「I-Voting勞動局長－自己的局長自己選」，民眾可自薦或他薦成為勞動局長備選人，經由遴選委員選出5名人選後，再交由台北市民及在台北市工作的勞工票選產生勞動局長。
遴選委員選出10名備選人，10日下午進行網路全程直播的勞動對談後，由遴選委員選出最終5名候選人，包括前勞委會主秘賀端蕃、律師陳明正、交通大學兼任助理教授曾芳代、台灣金融業工會聯合會資深顧問黃正道，與兆豐金控工會理事長吳世哲等5人。
但吳世哲由於之前名列遴選委員卻成為備選人，被質疑球員兼裁判，且有詐欺前科，引發爭議。