防AI遭濫用!Anthropic重金海選化武專家 強化AI模型安全機制
商傳媒/[email protected] (商傳媒 SUN MEDIA)
189 天前

商傳媒|責任編輯/綜合外電報導
根據英國《BBC》報導,據 BBC 報導,美國人工智慧公司 Anthropic 近期發布招聘訊息,尋找具備化學武器與爆炸物防禦經驗的專業人士,協助評估與防範 AI 系統可能遭到「災難性濫用」的風險。該公司表示,此舉旨在確保旗下 AI 助手 Claude 不會被用於生成與大規模毀滅性武器相關的危險資訊。此舉也反映生成式 AI 產業在快速發展的同時,正加強對安全與風險管理的重視。
Anthropic 在 LinkedIn 上發布的職缺指出,應徵者需具備至少五年以上與化學武器、爆炸物或相關防護領域的實務經驗,並熟悉包括「放射性散布裝置」(俗稱髒彈)在內的安全風險評估。該公司表示,這類跨領域專家將協助測試 AI 模型在極端情境下的回應能力,確保系統能有效阻止與危險武器製作相關的內容生成。
AI 企業近年持續加大在安全領域的投入。除了 Anthropic 外,OpenAI 也在招聘與生物與化學風險相關的研究人員,部分職位薪資上限可達約 45 萬美元。業界認為,隨著大型語言模型在科學研究與工程領域的應用日益廣泛,企業需要更完善的安全機制,以避免技術被惡意利用。
部分研究人員也對 AI 在敏感領域的應用提出警告。科技政策研究員 Stephanie Hare 表示,當 AI 系統涉及化學或爆炸物相關資訊時,必須特別謹慎,因為目前全球尚缺乏明確的國際規範來管理 AI 在這些高風險領域的應用。
Anthropic 共同創辦人 Dario Amodei 也曾多次公開指出,人工智慧仍處於快速發展階段,在安全機制尚未成熟之前,不應將其用於高風險的自動化決策領域。隨著生成式 AI 技術持續進步,如何在推動創新的同時建立有效的安全防線,正成為科技產業與政策制定者共同面臨的重要課題。
相關新聞
Baseten 聯手 Hugging Face、Goodfire AI 強化開放 AI 模型安全
商傳媒
4 天前
伊朗動用 AI 監控異議帳號 Anthropic Claude 遭濫用
商傳媒
9 天前
Anthropic 面臨 OpenAI 競爭壓力 考慮推新 AI 模型解投資者 IPO 擔憂
商傳媒
1 天前
Anthropic旗下AI模型Claude 正自我迭代開發新版本
商傳媒
3 天前
軟體自動化迎高效AI模型Jev 強化代理安全與成本效益
商傳媒
3 天前
印度AI策略轉向:跳脫模型競賽,專攻「AI模型路由器」
商傳媒
20 小時前
大型AI模型倫理考驗:Anthropic被指「神化」Claude,新聞業控OpenAI竊取內容
商傳媒
3 天前
Anthropic公開AI發展測量工具 揭自動化、算力與代理監管
商傳媒
21 小時前
Salesforce 簽約 Anthropic 後自研 AI 新模型 Koa 攜手輝達出擊
商傳媒
6 天前
Google Gemini 3.8模型邊思考邊輸出 強化AI決策透明度
商傳媒
3 天前
AI聊天機器人存隱私疑慮 專家籲用戶謹慎保護個資
商傳媒
6 小時前
iPhone 18 Pro本地AI效能大增 特定模型測試速度達前代兩倍
商傳媒
1 天前
AI 巨頭集體拯救人類?
銳傳媒
1 天前
AI產業聚焦企業應用與資料治理 模型安全與公眾信任成關鍵
商傳媒
10 天前
AI技術助敵方鎖定美軍行動 專家憂安全威脅加劇
商傳媒
5 天前