事實就只是要不要徵證所稅、要不要降證交稅這麼簡單嗎？近3年來，除了原本千分之3的證所稅外，股民在台股的交易成本大幅增加，包括股利所得併入綜合所得稅、股利所得可扣抵稅額減半、股利所得需繳交2%的健保補充保費，未來連長照保險費也準備從股利所得中抽取0.48%。
券商公會說，台股交易「一頭牛被剝6層皮」，交易要繳稅、賺錢要繳稅，連健保費、長照費都算在股市投資人身上，但如果賠錢，很抱歉，「投資有賺有賠，恕不退稅」。
從大戶問卷的結果不難發現，其實股市投資人並不是不願意繳稅，只是稅制的設計要合理，並與鄰近市場具有競爭力；過去千分之3的證交稅一向被認為「隱含」了證所稅的性質，股民不論賺賠都得乖乖繳納，若未來希望投資人核實繳納證所稅，自然應該將證交稅、證所稅的稅率重新整體衡量，而非單純加個稅目，就以為能課到稅。
券商公會表示，證所稅目前僅對初次上市櫃（IPO）課稅，開徵以來僅收到新台幣27億元，但證交稅短徵的金額卻數十倍於此，到底開徵證所稅是否真的有效開拓了政府財源？從2012年以來財政部重提證所稅議題以來，台股交易量反映的現實，不證自明。
談到股利繳稅或繳費，那更是比證所稅還要奇怪的思維。有法人分析，事實上，股利所得根本就不是股民的實質所得，以現金股息為例，股票在除息後會直接扣掉股價，股民只是把原本反映在股價上的錢拿一部分回來，除非完全填息，否則根本沒有賺錢。
股票股利也一樣，股民雖然持有的股數增加，但是也依同比例減除了股價，股價乘上股數的金額，除權前後是一樣的，沒有填權，同樣也沒賺錢；要求股民拿沒有實際獲利的「所得」出來繳全民的「健保費」、「長照費」，這也算租稅正義？
台灣證券交易所總經理林火燈分析，依券商公會的稅制調整版本，將目前千分之3的證交稅改為千分之1.5的證交稅、千分之1.5的證所稅，且就源扣繳，確實是比較合理的方式，不但政府課稅簡便，股民也習慣於原本千分之3的交易成本，就算是交易頻繁的大戶，也可以自行記帳，選擇「核實課稅」的方式，整體交易成本可以更低。
雖然財政部長張盛和堅持，稅制問題對台股的影響是「模糊焦點」；但從證所稅提出以來，台股量能直直落，雖然不能忽視鄰近市場報酬率較佳對資金的「拉力」，也不能否認交易成本偏高確實是把資金逼走的「推力」，在一推一拉之間，台股資金一去不回頭，就算上了萬點，賺錢的也不是本土投資人，而是享有分離課稅的外資，這樣的結果，真的是大家所樂見的嗎？