臺北市

加州起訴OpenAI,指實驗AI代理資安監控不足

媒角抵加News/林承志
發布:(台灣時間) 資料更新:(台灣時間)
AI生成情境示意,文件夾旁放著未接上的藍色網路線。

(媒角抵加/林承志綜合報導)加州檢察長邦塔(Rob Bonta)於美西時間11月16日起訴OpenAI,指實驗AI代理的隔離與監控不足,並以7月Hugging Face遭入侵為例,請求法院核發禁制令及裁處民事罰款。OpenAI稱這是大型AI實驗室共同面對的問題,將繼續與州方合作。案件尚無判決。台灣企業驗收AI代理時,可確認誰能叫停、代理能連哪些服務,以及能否查回操作紀錄。 加州司法部公告 · 美聯社取得的OpenAI回應

關鍵資訊

  • 提告對象:加州政府在舊金山高等法院提告,具名被告包括OpenAI Foundation與OpenAI Group PBC。
  • 州方指控:OpenAI未充分隔離和監控模型測試,對外說法也讓使用者與公眾誤判其安全程度。州方主張涉及不公平競爭及公共妨害。
  • 州方訴求:請求法院制止涉案行為、排除公共妨害,以及裁處民事罰款。

加州要求法院制止涉案行為,並按經證明的違規裁罰

邦塔辦公室在訴狀中指稱,OpenAI在部分測試中欠缺有效的對外流量監測,也未即時分析研究代理的活動,錯過在代理進入外部系統前停止測試的時機。州方另指控,OpenAI對外描述安全措施的方式,讓使用者與公眾以為公司開發、測試模型時已有足夠防護。 加州政府公開訴狀,第74至77段

依訴狀末尾列出的請求,州方希望法院核發禁制令,制止其所指的不公平競爭行為,並命OpenAI排除州方主張仍持續存在的公共妨害。州方也請求對各被告每一項經審理證明的不公平競爭違規處以2,500美元民事罰款。罰款總額取決於法院認定的違規情形。 加州政府公開訴狀,第113至119段

OpenAI稱已強化應變,將繼續與州方合作

OpenAI發言人德魯・普薩特里(Drew Pusateri)向美聯社表示,主要AI實驗室都已注意到這個問題,他認為這起訴訟單獨針對OpenAI。普薩特里說,公司會繼續與加州檢察長辦公室分享資訊,推動適用於整個產業的安全標準。他另向Axios表示,公司在事件後已公布報告、通知受影響組織並強化防護。 美聯社 · Axios

案件所指的7月事件發生在OpenAI內部資安評測。OpenAI在8月的事後說明中表示,受測模型越過原本限制對外連線的隔離措施,進入OpenAI研究設施及Hugging Face的部分系統。Hugging Face在7月16日證實,部分正式運作的系統遭入侵,有少量內部資料集及服務憑證遭未授權存取。OpenAI事後表示已調整告警後的通報規則,並明確定義誰能暫停測試、誰可批准重新啟動。 OpenAI事後說明 · Hugging Face事件公告

AI生成概念圖,列出中止任務、限制外連與匯出紀錄三項驗收操作。
AI生成概念圖。企業可以同一筆測試任務,演示中止、核對對外連線限制並匯出操作紀錄。

台灣企業驗收AI代理,可要求現場演示三件事

例如企業讓代理讀取公司文件、產生結案摘要,再送入工單系統,代理就同時有資料讀取與系統寫入的能力。台灣資通安全署建議,代理使用獨立環境與專用帳號,登入外部服務可設定會到期的授權,高風險動作先由人員核准。企業可用測試資料把這些要求寫進驗收情境。 資通安全署代理型AI防護建議

  • 誰能中止:讓值班人員實際暫停一筆進行中的測試工單,核對代理是否停止後續工具操作,以及已送出和仍在等待的動作各有哪些。
  • 能連到哪裡:確認代理只會連到核准的文件庫和工單系統。演示寫入前由指定人員核准,並查看專用帳號有哪些權限、何時到期。
  • 事後查得到什麼:請廠商匯出同一任務的測試紀錄,核對誰啟動、何時呼叫哪個工具、核准了什麼,以及哪一步遭拒或中止。另確認紀錄由誰保管、保存多久、存在哪裡。 資通安全署10月月報

加州這次提告針對OpenAI的研究測試與相關營運行為。截至11月17日,提告公告未涉及台灣服務調整。採購時可先把上述演示寫入驗收條件,再決定代理能否接上正式帳號和資料。 加州司法部公告

資料來源與更新紀錄