媒體報導指出，考選部長賴峰偉在尾牙餐會上，大開黃腔，且和女性同事手勾手喝酒，言行引發爭議。
賴峰偉5日說，他在尾牙講的黃色笑話是他在澎湖縣長任內，炒熱氣氛用的話題，他過去也講過一樣的笑話，但如果外界認為不妥，他願意道歉。賴峰偉說：『(原音)像報導提到的「郭春海」的，這也是澎湖流傳的笑話，當然如果大家認為這是不大好的笑話，我在這邊跟大家笑話，我以後絕對不會再說，請大家給我一個機會；不過這樣也好，因為我老婆也跟我講說，以後就不要再喝酒，我說好。』
至於是否有和女性同仁勾手臂喝酒，甚至讓女同事坐在自己大腿上，賴峰偉說，因為當天喝了酒，很多事已經忘了。賴峰偉也表示，這是一點小錯，卻被大肆渲染，讓他很不適應。他說：『(原音)事實上，我也一直認為說，這樣的一個小錯，但是一直渲染，渲染到我下台也好，或者怎麼樣也好，我心情也是有點不能適應。』
賴峰偉強調，他平常致力推動考選業務，也和同仁相處融洽，他並不會因此心灰意冷，未來還是會做該做的事情，也希望外界給他改過的機會。