防範強大AI風險 Google DeepMind揭示控制路線圖
商傳媒/[email protected] (商傳媒 SUN MEDIA)
91 天前

商傳媒|林昭衡/綜合外電報導
Google DeepMind 近日發布一份 AI Control Roadmap(AI控制路線圖),旨在強化內部強大 AI 代理人的安全性與管理。這份藍圖強調,除了透過對齊(alignment,即訓練模型使其行為符合預期)來保障 AI 的方式外,還需增設系統級的安全機制,以全面防範潛在風險。
該控制路線圖的核心理念之一是透過可信賴的 AI 監督者,對 AI 代理人的推論過程、實際行動與執行計畫進行全面監控。這些控制措施將根據風險程度進行調整,對於低風險行為,可能僅需延遲審查;但對於具有潛在危險性的行動,則會實施即時阻擋。Google DeepMind 表示,此概念借鑒了資安領域的經驗,因為資安領域早已深知「即使是可信賴的系統,也可能遭受入侵」的教訓。
未來的 AI 代理人架構預計將結合多種安全元素,包括模型評估(model evals)、存取控制(access control)、稽核日誌(audit logs)、沙盒(sandboxing,即在隔離環境中執行)以及由 AI 監督其他 AI 的機制。為確保這些控制措施的有效性,Google DeepMind 也定義了具體的衡量指標:覆蓋率(監控的代理人流量比例)、召回率(捕獲不良行為的比例)以及反應時間(系統阻止不良行為的速度)。
此發展也反映了整個產業對 AI 安全的重視,例如 OpenAI 的 Dean Ball 已加入該公司,領導一個 Strategic Futures team(策略未來團隊),專注於前瞻 AI 政策的制定。這顯示 AI 安全的焦點正從抽象的哲學探討,轉向更具體的資訊安全實踐。
相關新聞
Google DeepMind推AI基因資料庫 加速遺傳疾病研究
商傳媒
11 天前
AI 發展新瓶頸:模型之外,上下文與控制架構成關鍵挑戰
商傳媒
4 天前
發那科開放機器人平台軟體 攜手輝達Google搶攻實體AI
商傳媒
5 天前
台北市電腦公會以Hybrid AI實作⼯作坊 攜⼿iOS開發者社群與Google Cloud助攻產業AI升級
臺灣郵報
6 天前
美國各州推動AI教學 教師卻苦無對策防範AI作弊
商傳媒
7 天前
Google I/O 揭示「代理型 Gemini 時代」 AI 助用戶提升效率
商傳媒
16 天前
臉書查克柏格與Anthropic交鋒下的AI發展路線之爭
報新聞
4 天前
Google DeepMind推AI氣象模型 降雨預測精準度提升5成
商傳媒
17 天前
Google第一名還不夠?AI搜尋如何改寫品牌能見度
中央社
4 天前
Palantir 股價跌近 6% Google DeepMind 進軍政府級 AI 安全
商傳媒
18 天前
Google Gemini 3.8 Live登場 強化AI語音即時互動與多步驟推理
商傳媒
5 天前
新一代減重藥 Retatrutide 能降癌症風險嗎?最大規模研究數據揭示的真相與盲點
報新聞
6 天前
美國兩黨罕見共促AI監管 川普輕視風險引國會爭議
商傳媒
5 天前
中國也憂AI滅絕風險 但追趕美國才是當務之急
報新聞
4 天前