高銀工會少數員工結合勞工團體在公司前抗爭超時工作及沒發加班費問題，勞資雙方幾經溝通未果，令李瑞倉一直耿耿於懷，他卸任致詞不吐不快，他說，員工99.9%都很努力，但仍有少數「老鼠屎」平時閒懶不做事，還到處寫黑函搬弄是非，實在可惡。
李瑞倉離去時還對此表示，不要再「養老鼠、咬布袋」了。
高銀下午舉行臨時常董會，推選財政局長、高銀常務董事簡振澄為代理董事長，隨後進行交接，在高市副市長許立明監交下，簡振澄從李瑞倉接下董事長印信，總經理黃滿生代表員工，致贈一尊關公白馬白磁給李瑞倉。
李瑞倉說，這尊關公白馬白磁，將擺在其金管會辦公室內，白馬象徵奔向前程，關公是正義使者象徵大刀闊斧改革，正是他將接任金管會的心情寫照。
李瑞倉又說，高雄銀行今後走路有風了，臨別寄語大家要繼續努力，讓高銀營運更上層樓。
李瑞倉隨後受訪說，他已準備好赴任新職，有信心帶領金管會團隊迎向未來種種金融改革的挑戰。他又說，接掌金管會主委是老長官（林全）找他幫忙，他接受徵召，就是這麼簡單。