賴清德政府上任四個月，文化部長李遠卻已面臨多個爭議問題。首先是教育部主導將「閩南語」改稱「台灣台語」，引發族群反彈，教育部直接將責任推給文化部。其次，中正紀念堂禮兵交接儀式原本一度要取消，在文化界人士反彈下雖然保留，但改在戶外舉行，讓禮兵必須日曬雨淋。另外，原住民歌手巴奈在金曲獎的政治敏感致詞，被文化部官方臉書刪除，引發言論自由爭議。
知情人士透露，握有300億元預算的文化部過去是「菊系」天下，現今內部多是前任部長提拔的人，對李遠並不熟悉，使其面臨「叫不動」的窘境。加上李遠曾任台北市長柯文哲競選總幹事，在民進黨與民眾黨交鋒之際，於內閣中更顯突兀。行政院長卓榮泰近期還開玩笑評論李遠「年紀比較大」，引發外界揣測。
對於去職傳聞，李遠幽默回應這是他看過寫得最好的劇本，因為與事實完全相反。他表示自己目前做得很開心，也急切想把事情做好。行政院長卓榮泰則澄清並無去職一事。文化部也回應李遠推動政務如常，並無外傳「部長位不穩」的情況。然而，面對接連而來的爭議，李遠能否穩住部長之位，仍有待觀察。