全民查假會社》看懂民調:郭柯配支持度達三成?學者:問卷不嚴謹
【愛傳媒全民查假會社專欄】美麗島電子報公布7月國政民調,訪問民眾15道問題,並附上調查結果交叉分析表、問卷主要題項內容與調查結果百分比供大眾參考。
學者指出,民調詢問郭台銘和柯文哲合作參選的支持度,是基於可能事件的條件句,但測量準則必須各種條件都詢問,否則就有「戰術調查」的可能動機與效果。本案假設條件為郭台銘與柯文哲合作參選,僅出現郭柯配,漏列柯郭配確屬不嚴謹。此外,本案報告的第一句是:「…不投票或投廢票的有7.2%,各項變動仍在抽樣誤差範圍內。」並在後續宣稱誤差最大值為±3.0%。臺灣60年投票史,投票率最高的總統與中央選舉,「不投票率」最低也接近 20%,最高達 45%。我們可預測2024的選舉,不投票率加上投廢票率,一定超過本案宣稱的 7.2%,且極可能超過再加10%的17.2%。真實誤差比宣稱數據超過10%,這個事實應可反映,民調執行人,只是按照調查系統所輸出的數字盲目照抄,而沒有思考自己所書寫內容的真實意涵為何。解讀民調必須配合「統合分析」,讀者可將本文留存,屆時比較,應可產生對科學認識的自我發展作用。
本次解讀民調報告如下:
解讀日期:2023年8月4日
民調日期:2023年7月24日至7月25日
民調主題:2023年7月國政民調
報導機構:中時新聞網、三立新聞、Newtalk新聞
執行機構:美麗島電子報委託戴立安進行問卷設計與分析,畢肯市場研究公司執行電訪。
調查地區:全國22個縣市
樣本/誤差:設籍在調查範圍,年滿20歲的民眾。成功完訪1071人,在信賴水準95%時抽樣誤差最大值為正負3.0%。
民調摘要:2023年7月31日美麗島電子報公布7月國政民調,此民調詢問受訪民眾 15道問題:國內目前的整體經濟情況;對蔡英文總統信任程度、整體表現滿意度;行政院長陳建仁就任以來的整體施政表現滿意度;民進黨、國民黨、台灣民眾黨和共產黨好感度調查;2024可能總統參選人支持度;總統大選絕對不會投給誰;總統大選鐵票詢問;民進黨繼續做總統或是換成其他政黨來做總統,對我們國家未來4年發展會比較好;如果要政黨輪替下架民進黨,是否認同應該投給侯、柯或郭這3位候選人在明年投票前民調最高的人;郭台銘和柯文哲合作參選下的總統選舉支持度等問題。此民調亦針對調查結果進行分析,並附上調查結果交叉分析表、問卷主要題項內容與調查結果百分比供大眾參考。
爭點解讀:
一、問卷問題13排除詢問賴支持者,而無明確表態支持對象的受訪者(問題10~12未明確回答)在本題中是否應該詢問或不詢問?
二、問題20假設郭台銘與柯文哲合作參選,提供的選項1僅出現郭柯配,而無柯郭配,誰來當總統誰來當副手是否可能影響部分選民的選擇?
三、總統大選支持度結果顯示,不投票或投廢票的有7.2%,是否有高估投票率的可能?
專家分析:
世新大學資訊管理系前主任吳統雄解讀:
本次提問已進入研究方法的進階議題:信度分析(reliability)與資料過濾(data screen),牽涉基礎的心理測量學(psychometrics)、認知心理學(cognitive psychology),甚至「斜槓」到助選操作實務。
爭點一解讀
問題10~13 是以不同詞彙與正反方向詢問相同的問題。
在1980年以前,問卷至少30題起跳,且有付費調查的時代,許多問卷會對相同問題設計「5 題以上的題組」,目的是事後要做信度分析(reliability analysis)。
嚴謹的調查會做資料過濾(data screening)設計,會設計過濾題,以便事後做「合格樣本分析」,亦即辨識樣本是否說謊或心不在焉。而信度題組資料也可以提供過濾分析。
但在民調泛濫後,受訪者耐心愈來愈低落,在權衡研究輕重(research trade-off)後,當前對大眾的民調已不做重複詢問。
所以,重複詢問是可以的,且可作爲進一步分析使用。
唯本案只有百分比,並沒有報告信度係數與資料過濾結果;且只有4題,也不能做信度分析。
綜此,無法排除本案只是將1份古老問卷照抄,並不知道其學術目的、程序與研究歷史的演變、處理。
爭點二解讀
問題20是基於可能事件的條件句,是可以問的;但測量準則必須各種條件都詢問,否則就有「戰術調查」的可能動機與效果(請參見2023.05.31/ 2023.01.05《看懂民調》對「假設性條件句與真實條件句」的解說)。
本案假設條件為郭台銘與柯文哲合作參選,僅出現郭柯配,漏列柯郭配確屬不嚴謹。
如果「拱郭」成功,讓郭台銘以為「非郭不可」,依郭的長期行事作風,牛下去,將可裂解在野結盟的可行性。不過,國民黨初選不透明,讓郭不服氣,國民黨要先負給他人操作空間的責任。
本案操盤人曾在不同民調機構疑涉入「機構因素」,並曾引發總統選舉民調的爭議事件。本題是因研究方法不熟而導致的無意疏忽?或是側翼助選的故意操作?宜由讀者判斷。(「機構因素」就是民調的委托人與執行人因素,請參見2023.03.24/2022.11.28《看懂民調》與《假民調的定義與來源》的解說)。
爭點二延伸解讀:誰配誰▪不如聯盟初選
問「誰配誰」的問題,應從心理測量學、認知心理學的角度觀察。
「53237選民結構」指出:人類對公共事務35%不關心,40%以意識型態認知,不論「誰配誰」對以上的人都沒有影響。
而有10%認知可變,與15% 認知可搖擺的人,選舉結果其實是由他們決定。
「誰配誰」是由誰來配呢?過去40研究顯示,密室分贓式的分配,并不會受這2群人青睞;較有規則的競合,較能使這些人接受。
期待保障政黨制衡、維持國家免疫力的組織與人士,應鼓勵政黨/聯盟初選。
初選最理想的是「兩階段初選」,不然就是向民進黨學習「願賭服輸」。
初選如果採用全民調,雖可達成形式公平,實質誤差過大;如果採用美式黨員投票,當前有人頭黨員爭議。可行的改革方案為階段式兩案合一:先全民調,再黨員登記投票,未來若能法制化,朝野各黨共同採行,效果更完整。
如果是在野盟的盟員投票,即使資源條件不足,香港在野聯盟也曾經舉辦過盟員網路登記與投票,已有成功前例。
如果當前實在障礙太大,就辦2次全民調,讓第二次的候選人以過半方式出線。不過,參與者一定要有民進黨「願賭服輸」的精神,要明知全民調誤差很大,但是在緊急時刻,以最後的方法,向選民做心理交代,並絕對遵守,日後才有機會將有缺陷的制度革新改善。
民進黨的全民調,將各家民調數字直接總加,其實違背科學邏輯,尤其在只有2人、又表面差距很小時,可能顛倒真實勝負。若將各家數字先「標準化」再總加,可縮小誤差。
進一步說明,請參閱文章《兩階段初選 讓人才出線》。
爭點三解讀:民調的「自盲」
本案報告的第一句是:「…不投票或投廢票的有7.2%,各項變動仍在抽樣誤差範圍內。」,並在後續宣稱誤差最大值為±3.0%。
臺灣60年投票史,投票率最高的總統與中央選舉,「不投票率」最低也接近 20%,最高達 45%,更不必提地方選舉動輒超過60%了。
我們可預測 2024 的選舉,不投票率加上投廢票率,一定超過本案宣稱的 7.2% ,且極可能超過再加 10% 的 17.2%。真實誤差比宣稱數據超過10%,是「鑑別民調品質」的「低端級民調參數」。
這個事實應可反映,民調執行人,只是按照調查系統所輸出的數字盲目照抄,而沒有思考自己所書寫內容的真實意涵為何。
這也是本專欄長期強調:解讀民調必須配合「統合分析」的原因。
若是讀者也沒注意到,反映科普教育仍有待加強空間。
讀者可將本文留存,屆時比較,應可產生對科學認識的自我發展作用。
本專欄為全民查假會社「看懂民調專案」之報告,全民查假會社官網網址為:https://tstm.tw/
●專欄文章,不代表i-Media 愛傳媒立場