說它艱難，是因為開徵資本利得稅的阻力太大。首先，投資者當然反對，特別是股市與房地產投資者（或是投機者）。反對的結果往往是股市與房地產指數巨幅下降，進而引發散戶投資人的恐慌乃至上街示威抗議，於是主流媒體鼓譟，政客們心慌意亂。這個所謂民主社會抵制理性改革的經典劇本，24年前曾經在郭婉容啟動證券交易所得稅時精彩地演出過一次，而為此後財經決策者所銘記在心，並成為稅改的一大阻力。
政客們有時不太願意承認自己屈從於民粹壓力，美其名為「尊重民意」。於是一個似乎合乎理性判斷的說辭便流行開來：開徵資本利得稅將嚇走投資者，資本無國籍，「此處不留爺，自有留爺處」；而資本是帶動台灣經濟成長的火車頭，經濟不成長，更徵收不到租稅。因此我們不能殺雞取卵。結論是：資本利得稅千萬開徵不得。如果這樣的「理性」說辭還嫌力度不夠，可以增加一段：在孤立的外交空間與兩岸的競爭（或對抗）下，沒有經濟成長就沒有台灣。這個「理性」說辭成了台灣統治階級或公然或暗示地抗拒開徵資本利得稅或證券交易所得稅的雄辯理由，從而也是稅改的一大阻力。
有時台灣的財經官僚水平是慘不忍睹的，這種「尊重民意」的理性說辭都想不起來，於是乾脆來個現實主義的「理由」：如何能夠徵到稅，便如何改。最典型的案例便是前財政部長李述德為降低遺產稅率的辯詞：遺產稅率從50％減為10％，當年財政部所徵收到的遺產稅便大幅增加。政客為富人減稅的嘴臉在此暴露無遺；在這種說辭下，稅收作為維繫社會公平正義的作用完全冰消無痕，對於財政部無能徵集到應徵租稅也毫無反省之心，更不用說科學地分析那年遺產稅一時增加乃是因為王永慶去世的單一事件所造成的。這種無社會公益心、無能、無科學分析能力的現象，絕非僅發生在李述德身上，多數政客們都帶有這種實用主義的基因。這是稅改的最大無形阻力。