AI代理人防脫韁 「憲法式運算」為企業AI設界限

隨著人工智慧（AI）技術的快速發展，企業開始普遍導入「企業AI代理人」（enterprise AI agents），這類能自主執行任務的AI系統，卻也面臨脫離控制的風險。為解決此問題，科技公司 Kihan 於昨日宣布推出「憲法式運算」（Constitutional Computing）框架，旨在確保 AI 代理人僅在被授權的範圍內活動。

Kihan 共同創辦人暨執行長 Jonathan Hirshon 指出，AI 代理人能力日益強大，但其自我約束能力不足。他強調：「一個能轉帳 5,000 萬美元、修改生產資料庫或釋出機密資訊的系統，不應僅因其擁有工具便可為之。」這項「憲法式運算」設計理念，即是將 AI 權限的治理，獨立於 AI 模型本身之外，透過外部且可驗證的授權機制，避免未經許可的行動影響企業系統。

根據《GamesBeat》報導，雲端安全聯盟（Cloud Security Alliance）今年 4 月發布的研究顯示，有高達 53% 的受訪企業表示其 AI 代理人曾超出預期權限，更有 47% 的企業在過去一年中遭遇 AI 代理人安全事件，凸顯企業 AI 治理的迫切性。傳統的 AI 防護機制多仰賴對模型的指令，而 Kihan 的方法則是建立一個獨立的授權系統，在 AI 代理人執行任何關鍵操作前，都會先進行評估。

Kihan 的首款產品 Inktomi 便是實踐憲法式運算的應用。該公司表示，Inktomi 的決策引擎已投入運作，能評估特定行為是否符合簽署的組織規則，並決定是允許、拒絕請求，抑或將其轉交人工審核，同時保存可供追溯的決策紀錄。 Inktomi 規劃支援 Anthropic、OpenAI 和 Google 等公司開發的 AI 模型，以及 Hermes Agent 等代理人框架，並與 Model Context Protocol（MCP）等工具生態系整合。

Kihan 已鎖定金融服務、保險、醫療保健及法律服務等高度受監管產業，這些領域若發生未經授權的 AI 行動，可能造成重大財務、營運或法律後果。此技術不僅能與現有的身份管理、資安及 AI 治理解決方案互補，也支援符合 GDPR、HIPAA 等法規的合規性需求。該公司目標在今年 12 月展開初期企業評估，並將其技術架構 ATHENA 的研究成果，陸續刊登於 IEEE計算機協會（IEEE Computer）的特刊中。

對於台灣企業而言，隨著 AI 導入深度增加，如何確保 AI 代理人在符合內部規範與外部法規的前提下運作，將是提升營運效率與降低風險的關鍵。「憲法式運算」這類新型治理框架的出現，可望為台灣企業提供借鑑，協助其在享受 AI 便利的同時，也能有效防範潛在的濫用或失控風險。