ServiceNow：AI 代理緊急停止非按鈕，需考量業務情境

隨著企業陸續將人工智慧程式（AI Agent）導入實際運作，如何有效管理這些自動化工具的風險與治理問題日益受到關注。軟體公司 ServiceNow 認為，AI 代理的「緊急停止開關」（kill switch）不應僅是簡單的開關按鈕，而必須考量企業本身的業務情境，才能做出正確的決策。

ServiceNow 的人工智慧平台安全產品副總裁 Bhakti Pitre 於週一指出，雖然「緊急停止開關」這個詞很常見，但實際操作上並非單純的開或關。她強調，在決定是否要暫停或撤銷一個 AI 代理的權限時，充分理解其商業脈絡至關重要。例如，一個 AI 代理若只是停止運作，可能僅需暫停並調查原因；但若一個原本被允許提供 10% 折扣的 AI 代理，因「提示注入」（prompt injection，一種誘導 AI 產生非預期回應的技術）而開始提供 100% 折扣，這就構成嚴重問題，必須「拔掉插頭」。

ServiceNow 正將自身定位為企業 AI 的「控制塔」，主要專注於 AI 代理部署後的治理。該公司提出的 AI 治理框架包含五個步驟：探索、觀察、治理、保護與衡量。此框架的目標是根據風險程度調整控管措施。為強化安全防護，ServiceNow 與身份驗證服務公司 Okta 合作，確保 AI 代理的會話 Token（憑證）和身份安全，並利用 Veza 的身份安全技術來調整過高的權限。

Pitre 也呼籲，為了讓 AI 能普及化並大規模應用，產業內所有供應商都應互相合作，共同推動 AI 的發展。