時代力量立委徐永明指出，政府裁撤蒙藏委員會後，應該也要跟進撤除僑委會及退輔會兩個「米蟲單位」。
立法院司法及法制委員會昨晚初審通過「蒙藏委員會組織法」廢止案，對此徐永明表示贊同外，更進一步指出，賴內閣的預算編列退輔會1160億，但多次被監院糾正作業草率、資金管理不透明等；而僑委會也拿到15億，但拿2300萬人的納稅錢去服務4000萬僑胞，非常可笑。
徐永明認為僑委會應整併到教育部、文化部等部門，而僑務工作則納入外交部。退輔會未善盡照顧基層軍人之責，應予裁撤併整併至相關單位。並廢除這些單位的「組織法」以免「死灰復燃」。