輝達推 AI 終止開關 軟硬體兼施防自主代理程式失控

為因應人工智慧（AI）技術快速發展帶來的潛在風險，晶片龍頭輝達（Nvidia）推出一套名為 Open Agent Safety Platform 的安全系統，旨在防止自主運作的人工智慧代理程式（AI agent）超越其既定操作範圍，避免其行為失控。此平台結合了軟體與硬體層面的防護措施。

這套安全系統的核心包含兩個主要元件：軟體部分為 OpenShell，硬體部分則是 Sentry。OpenShell 是一個開源的安全執行環境，其運作方式是將 AI agent 放置在隔離的環境中。此設計理念採「預設不允許任何操作」，嚴格限制 AI agent 對檔案、網路、工具、憑證及其他資源的存取權限。

硬體層面的 Sentry 則獨立於 AI agent 運作，部署於輝達的 BlueField-4 資料處理器（DPU）上。Sentry 持續監測 AI agent 的活動，並從其隔離的硬體環境中強制執行安全策略。一旦 AI agent 試圖越界，Sentry 能在毫秒內迅速隔離並停止該程式，提供一個由硬體支援的終極安全網，以防範任何未經授權的行為。

輝達執行長黃仁勳（Jensen Huang）表示：「人工智慧對社會的巨大潛力，唯有在解決其安全性問題後才能實現。」這項開發旨在處理各界對自主 AI agent 的擔憂，並預防它們繞過現有安全控制的事件。除了輝達與 Anthropic 合作開發額外的安全控制外，微軟（Microsoft）、思科（Cisco）、CrowdStrike、戴爾科技（Dell Technologies）、Hugging Face、摩根大通（JPMorganChase）、派拓網路（Palo Alto Networks）、Salesforce、SAP 公司以及 xAI 等多家科技巨頭，也共同支援這項安全計畫。OpenShell 作為開源軟體，其應用範圍可進一步擴展至安謀（Arm）與英特爾（Intel）等第三方運算平台。