防範強大AI風險 Google DeepMind揭示控制路線圖
商傳媒/[email protected] (商傳媒 SUN MEDIA)
113 天前

商傳媒|林昭衡/綜合外電報導
Google DeepMind 近日發布一份 AI Control Roadmap(AI控制路線圖),旨在強化內部強大 AI 代理人的安全性與管理。這份藍圖強調,除了透過對齊(alignment,即訓練模型使其行為符合預期)來保障 AI 的方式外,還需增設系統級的安全機制,以全面防範潛在風險。
該控制路線圖的核心理念之一是透過可信賴的 AI 監督者,對 AI 代理人的推論過程、實際行動與執行計畫進行全面監控。這些控制措施將根據風險程度進行調整,對於低風險行為,可能僅需延遲審查;但對於具有潛在危險性的行動,則會實施即時阻擋。Google DeepMind 表示,此概念借鑒了資安領域的經驗,因為資安領域早已深知「即使是可信賴的系統,也可能遭受入侵」的教訓。
未來的 AI 代理人架構預計將結合多種安全元素,包括模型評估(model evals)、存取控制(access control)、稽核日誌(audit logs)、沙盒(sandboxing,即在隔離環境中執行)以及由 AI 監督其他 AI 的機制。為確保這些控制措施的有效性,Google DeepMind 也定義了具體的衡量指標:覆蓋率(監控的代理人流量比例)、召回率(捕獲不良行為的比例)以及反應時間(系統阻止不良行為的速度)。
此發展也反映了整個產業對 AI 安全的重視,例如 OpenAI 的 Dean Ball 已加入該公司,領導一個 Strategic Futures team(策略未來團隊),專注於前瞻 AI 政策的制定。這顯示 AI 安全的焦點正從抽象的哲學探討,轉向更具體的資訊安全實踐。
相關新聞
Google DeepMind推AI基因資料庫 加速遺傳疾病研究
商傳媒
33 天前
AI 發展新瓶頸:模型之外,上下文與控制架構成關鍵挑戰
商傳媒
27 天前
發那科開放機器人平台軟體 攜手輝達Google搶攻實體AI
商傳媒
27 天前
台北市電腦公會以Hybrid AI實作⼯作坊 攜⼿iOS開發者社群與Google Cloud助攻產業AI升級
臺灣郵報
28 天前
美國各州推動AI教學 教師卻苦無對策防範AI作弊
商傳媒
30 天前
Google I/O 揭示「代理型 Gemini 時代」 AI 助用戶提升效率
商傳媒
39 天前
臉書查克柏格與Anthropic交鋒下的AI發展路線之爭
報新聞
26 天前
Google DeepMind推AI氣象模型 降雨預測精準度提升5成
商傳媒
39 天前
Google第一名還不夠?AI搜尋如何改寫品牌能見度
中央社
27 天前
Palantir 股價跌近 6% Google DeepMind 進軍政府級 AI 安全
商傳媒
40 天前
Google Gemini 3.8 Live登場 強化AI語音即時互動與多步驟推理
商傳媒
27 天前
新一代減重藥 Retatrutide 能降癌症風險嗎?最大規模研究數據揭示的真相與盲點
報新聞
28 天前
美國兩黨罕見共促AI監管 川普輕視風險引國會爭議
商傳媒
27 天前
中國也憂AI滅絕風險 但追趕美國才是當務之急
報新聞
26 天前