李來希原在前行政院勞工委員會王如玄任內即為勞委會綜合規劃處長，並從去年12月接任勞委會公務人員協會理事長。但他近期多次針對年金改革議題「發言」並在不到1周內調離主管職，引發外界討論，且公務人員協會副理事長葉仁成更直言說「李來希這次調職像是遭秋後算帳」「勞委會拍關中馬屁」等。
李來希則坦言說，「調職是預料中的事」，但是「沒想到來得這麼快」。他也在臉書PO文說，「文鬥真的開始了！」
他也PO文說「人生滄桑歷盡起起伏伏，處理過多少大型爭議事件，訂定過多少爭議性法案，建立了許多制度，我的壓力從來都不是來自上頭，這次或許不同。一個人的力量有多大？一個人的肩膀能承載多少重量？只希望我這塊汪洋中的浮木，能讓他們多喘幾口氣。」
對於外界解讀，勞委會主委潘世偉則回應說，「薪水、加給都未少，這是打壓嗎？」勞委會今天也進一步回應否認打壓，並指出主委潘世偉於去年12月就向行政院長報告，基於整體考量要進行勞委會內部一級主管調動，職務調動是讓同仁有更寬廣的職務歷練。而這次人士異動包含處長、副處長、專門委員甚至科長，總共有10餘人被調動，李來希只是其中1名。