【于思專欄】《人工智慧 2027》像科幻小說

關鍵任務上超越人類，並擁有強大的力量

去年春天，OpenAI 的人工智慧安全研究員 Daniel Kokotajlo 辭職以示抗議，他認為該公司對人工智慧技術的未來毫無準備，並希望引起警惕。在電話交談中，他顯得和藹可親但又有些焦慮，他解釋說，人工智慧「協調」方面的進展——確保人工智慧遵循人類價值觀的方法——落後於智慧進步。

他警告說，研究人員正急於創建不受控制的強大系統。 Kokotajlo 從哲學研究生轉行到人工智慧領域，自學追蹤人工智慧的進展並預測關鍵智慧里程碑何時會發生。在人工智慧的進步速度超乎預期之後，他將自己的時間表調整了幾十年。在他 2021 年提出的設想“2026 年會是什麼樣子”中，許多預測都提前實現了，這讓他預見到 2027 年或更早的“不歸點”，屆時人工智能將在大多數關鍵任務上超越人類，並擁有強大的力量。

聽起來很害怕。同時，普林斯頓大學電腦科學家 Sayash Kapoor 和 Arvind Narayanan 編寫了他們的書《AI Snake Oil》，提出了截然不同的觀點。他們認為人工智慧的時間表過於樂觀；關於人工智慧實用性的聲明經常被誇大或欺騙；現實世界的複雜性意味著人工智慧的變革效應將是緩慢的。他們以醫學和招聘領域人工智慧錯誤的例子來說明，強調即使是最新的系統也存在著與現實的根本脫節。

得出了截然不同的結論，產生了一種悖論

最近，三人都在新報告中明確了自己的觀點。 Kokotajlo 的非營利組織“人工智慧未來項目”發布了“人工智慧 2027”，這是一份詳細的、被大量引用的報告，概述了一個令人不寒而慄的場景：到 2030 年，超級智慧人工智慧可能會主宰或消滅人類——這是一個嚴重的警告。

同時，卡普爾和納拉亞南的論文《人工智慧作為常態技術》認為，從法規和安全標準到現實世界的物理限制等實際障礙將減緩人工智慧的部署並限制其革命性影響。他們認為，人工智慧仍將是「正常」技術，可以透過熟悉的安全措施（如終止開關和人工監督）來管理，人工智慧更像核能而不是核武。

那麼，這會是怎樣的呢：正常業務還是世界末日般的劇變？這些報告由知識淵博的專家得出了截然不同的結論，產生了一種悖論，類似於與理查德·道金斯和教皇辯論靈性。這種困難部分源自於人工智慧的新穎性——就像盲人檢查大象的不同部位一樣——部分源自於世界觀的深刻差異。一般來說，西岸的科技思想家預見到快速的轉變；東岸的學者傾向於懷疑態度。人工智慧研究人員青睞快速的實驗進展；其他電腦科學家追求理論的嚴謹性。業內人士想要創造歷史；局外人拒絕接受科技炒作。關於技術、進步和思想的政治、人文和哲學觀點加深了這種分歧。

可能會允許人工智慧監管人類

這場引人入勝的辯論本身就是一個問題。業內人士大多接受「AI 2027」的前提，但對時間表存在爭議——這種不充分的回應類似於在地球毀滅者臨近時爭論時間問題。相反，《人工智慧作為正常技術》中關於讓人類參與其中的溫和觀點卻過於低調，以至於被那些專注於末日的分析師所忽視。隨著人工智慧對社會的批判性越來越強，討論必須從專家辯論發展為可操作的共識。缺乏統一的專家建議，決策者更容易忽略風險。目前，人工智慧公司還沒有顯著地改變能力與安全之間的平衡。

同時，新立法禁止國家在十年內監管人工智慧模型和自動決策系統——如果可怕的情況被證明是正確的，這可能會允許人工智慧監管人類。現在解決安全問題刻不容緩。預測人工智慧的未來從敘述上來說涉及權衡：謹慎的情景可能會忽略不太可能的風險；富有想像的人強調可能性而不是機率。即使是小說家威廉吉布森這樣有先見之明的評論家，也會被意外事件改變他們的預測而措手不及。

人工智慧系統自主進行人工智慧研究

《人工智慧 2027》生動形象，充滿推測性，文字像科幻小說，配有詳細的圖表。它設想在 2027 年中期左右出現一次近未來智慧爆炸，由「遞歸自我改進」（RSI）驅動，其中人工智慧系統自主進行人工智慧研究，在超越人類監督的加速反饋迴路中產生更智慧的後代。

這可能會引發地緣政治衝突，例如中國在台灣建立大型資料中心來控制人工智慧。場景的具體細節增強了參與度，但又具有靈活性；關鍵訊息是情報爆炸和隨之而來的權力鬥爭可能即將爆發。 RSI 是假設性的且有風險；人工智慧公司認識到它的危險，但仍計劃利用它來實現自身工作的自動化。

RSI 是否有效取決於擴展等技術因素，而這些因素可能會面臨限制。如果 RSI 成功，超越人類智力的超級智慧可能會出現——如果進步僅僅停留在人類層面之上，那麼這只是一個不太可能的巧合。其後果可能包括軍事軍備競賽、人工智慧操縱或消滅人類，或仁慈的超級智慧人工智慧解決對齊問題。

一個技術和人為失敗的場景

由於人工智慧的不斷發展、專有研究的保密性和猜測，不確定性普遍存在。 「AI 2027」自信地講述了一個技術和人為失敗的場景，其中公司在缺乏可解釋性和控制機制的情況下追求RSI。科科塔伊洛認為，這些都是由競爭和好奇心驅動的深思熟慮的決定，儘管已知存在風險，但公司本身卻成為了行為失當的行為者。

相較之下，卡普爾和納拉亞南的「人工智慧作為正常技術」反映了東海岸基於歷史知識的保守觀點，對快速的智慧爆炸表示懷疑。他們指出，硬體成本、數據稀缺和普遍的技術採用模式造成的「速度限制」減緩了革命性的影響，為監管和安全響應提供了充足的時間。

對他們來說，智力不如實力（影響環境變化的能力）重要，而且即使是高性能的技術也往往傳播得很慢。他們以無人駕駛汽車的有限部署和 Moderna 的 COVID-19 疫苗開發為例說明了這一點：儘管疫苗設計很快，但由於生物和制度現實，推出花了一年時間。人工智慧推動創新不會消除實施過程中的社會、監管或物理限制。而且，納拉亞南強調，人工智慧對智慧的關注低估了特定領域的專業知識，而工程中現有的安全系統——故障保護、冗餘、形式驗證——已經確保了機器與人類的安全。

人工智慧軍事化是「人工智慧 2027」核心擔憂

科技世界是受到良好監管的，人工智慧必須慢慢融入這個結構。他們排除了涉及獨特、機密動態的軍事人工智慧，並警告說，人工智慧軍事化是「人工智慧 2027」的核心擔憂，需要重點監控。他們建議採取積極主動的治理措施：監管機構和組織不應等待完美協調的出現，而應開始追蹤人工智慧在現實世界中的使用、風險和失敗，並相應地加強規則和彈性。深刻的世界觀分歧源自於人工智慧的挑釁所引發的反應性智力動態，從而產生了根深蒂固的陣營和回饋循環。然而，透過想像一個“認知工廠”，可以實現統一的觀點：在這個工作場所中，配備安全裝備的人類在嚴格的品質控制、逐步整合的創新和明確的責任制下操作專為生產力和安全性而設計的機器。儘管人工智慧可以實現某些思維的自動化，但人類的監督和責任仍然至關重要。隨著人工智慧的發展，它並不會削弱人類的能動性；相反，它強化了問責的必要性，因為增強的個人要承擔更大的責任。放棄控制是一種選擇，強調到最後，人類仍然擁有最終的控制權。 ♦