OpenAI推AI安全漏洞獎勵計畫 鎖定AI代理程式潛在風險

人工智慧（AI）開發商OpenAI昨日（25日）宣布，已啟動一項公開的「安全漏洞獎勵計畫」（Safety Bug Bounty Program），旨在識別其產品套件中AI濫用及安全方面的風險，尤其側重於可能導致現實世界危害的AI代理程式（AI Agent）相關漏洞。

根據《blockchain.news》報導，這項新計畫是OpenAI現有「資安漏洞獎勵計畫」（Security Bug Bounty）的補充。研究人員提交的報告將由安全與資安團隊共同評估，並根據範圍分配至不同計畫。該計畫特別關注第三方提示詞注入攻擊，這類攻擊可能導致惡意文字劫持用戶的AI代理程式（包括Browser、ChatGPT Agent等產品），進而執行有害操作或洩露敏感資訊。

其他列入獎勵範圍的漏洞還包括：AI代理程式在OpenAI網站上大規模執行未經允許的操作、暴露與模型推理相關的專有資訊，以及規避自動化防禦機制或帳戶信任信號的行為。然而，若僅是導致模型使用不雅語言或回傳可輕易搜尋資訊的「越獄」（jailbreak）行為，且未展示出實質安全影響的通用內容政策繞過，則明確排除在此計畫之外。

為符合提示詞注入攻擊獎勵資格，提交的攻擊必須至少有五成的可重現性。有興趣參與的研究人員可透過OpenAI的Bugcrowd平台提出申請。此舉顯示OpenAI正積極應對AI代理程式與第三方工具及資料來源互動所帶來的潛在風險。