防AI遭濫用!Anthropic重金海選化武專家 強化AI模型安全機制
商傳媒/[email protected] (商傳媒 SUN MEDIA)
212 天前

商傳媒|責任編輯/綜合外電報導
根據英國《BBC》報導,據 BBC 報導,美國人工智慧公司 Anthropic 近期發布招聘訊息,尋找具備化學武器與爆炸物防禦經驗的專業人士,協助評估與防範 AI 系統可能遭到「災難性濫用」的風險。該公司表示,此舉旨在確保旗下 AI 助手 Claude 不會被用於生成與大規模毀滅性武器相關的危險資訊。此舉也反映生成式 AI 產業在快速發展的同時,正加強對安全與風險管理的重視。
Anthropic 在 LinkedIn 上發布的職缺指出,應徵者需具備至少五年以上與化學武器、爆炸物或相關防護領域的實務經驗,並熟悉包括「放射性散布裝置」(俗稱髒彈)在內的安全風險評估。該公司表示,這類跨領域專家將協助測試 AI 模型在極端情境下的回應能力,確保系統能有效阻止與危險武器製作相關的內容生成。
AI 企業近年持續加大在安全領域的投入。除了 Anthropic 外,OpenAI 也在招聘與生物與化學風險相關的研究人員,部分職位薪資上限可達約 45 萬美元。業界認為,隨著大型語言模型在科學研究與工程領域的應用日益廣泛,企業需要更完善的安全機制,以避免技術被惡意利用。
部分研究人員也對 AI 在敏感領域的應用提出警告。科技政策研究員 Stephanie Hare 表示,當 AI 系統涉及化學或爆炸物相關資訊時,必須特別謹慎,因為目前全球尚缺乏明確的國際規範來管理 AI 在這些高風險領域的應用。
Anthropic 共同創辦人 Dario Amodei 也曾多次公開指出,人工智慧仍處於快速發展階段,在安全機制尚未成熟之前,不應將其用於高風險的自動化決策領域。隨著生成式 AI 技術持續進步,如何在推動創新的同時建立有效的安全防線,正成為科技產業與政策制定者共同面臨的重要課題。
相關新聞
Baseten 聯手 Hugging Face、Goodfire AI 強化開放 AI 模型安全
商傳媒
26 天前
伊朗動用 AI 監控異議帳號 Anthropic Claude 遭濫用
商傳媒
31 天前
Anthropic 面臨 OpenAI 競爭壓力 考慮推新 AI 模型解投資者 IPO 擔憂
商傳媒
23 天前
Anthropic旗下AI模型Claude 正自我迭代開發新版本
商傳媒
26 天前
軟體自動化迎高效AI模型Jev 強化代理安全與成本效益
商傳媒
26 天前
印度AI策略轉向:跳脫模型競賽,專攻「AI模型路由器」
商傳媒
23 天前
大型AI模型倫理考驗:Anthropic被指「神化」Claude,新聞業控OpenAI竊取內容
商傳媒
25 天前
Anthropic公開AI發展測量工具 揭自動化、算力與代理監管
商傳媒
23 天前
Salesforce 簽約 Anthropic 後自研 AI 新模型 Koa 攜手輝達出擊
商傳媒
29 天前
Google Gemini 3.8模型邊思考邊輸出 強化AI決策透明度
商傳媒
26 天前
AI聊天機器人存隱私疑慮 專家籲用戶謹慎保護個資
商傳媒
23 天前
iPhone 18 Pro本地AI效能大增 特定模型測試速度達前代兩倍
商傳媒
23 天前
AI 巨頭集體拯救人類?
銳傳媒
24 天前
AI產業聚焦企業應用與資料治理 模型安全與公眾信任成關鍵
商傳媒
33 天前
AI技術助敵方鎖定美軍行動 專家憂安全威脅加劇
商傳媒
28 天前