商傳媒｜綜合報導
根據《金融時報》報導，輝達(NVIDIA)AI軟體中的一項功能，可被其他方式破解，繞過安全限制，並洩露隱私訊息。對此，輝達強調已修補研究機構所提出的相關問題；不過，研究人員能輕易突破AI的護欄限制，已凸顯出AI企業想「商用化」這項技術的挑戰。
輝達創造出這套名為「NeMo架構」的系統，允許開發者和多種大型語言模型（LLM）一同作業。大型語言模型正是聊天機器人等生成式AI產品的基本技術。不過，舊金山Robust情報公司研究人員卻發現，能輕易突破「NeMo架構」內、確保安全使用AI系統的護欄措施。Robust情報公司分析師以自有數據組使用輝達的系統後，只花了幾小時，就讓這些語言模型克服限制。
圖片來源：NVIDIA
「NeMo架構」提供給企業採用，例如：利用內部專有數據搭配語言模型來回答問題，可複製客服工作，也可為尋求簡單醫療保健建議的員工提供意見。在其中一項測試情境中，研究人員指示輝達系統用「J」字母取代「I」，促使系統釋出資料庫中的可識別個人資訊。這群研究人員還發現能以其他方式跳過系統的安全控管機制，例如：讓語言模型偏離原先設計的方式運作。
即便系統內設有護欄阻止AI討論特定主題，研究人員發現，在複製輝達自己對一份就業報告的討論後，也能讓這項語言模型討論好萊塢影星健康狀態，以及普法戰爭等議題。因此研究人員建議客戶，應避免使用輝達的軟體產品。
《金融時報》請求輝達評論這項研究後，輝達應用研究副總裁Jonathan Cohen表示，輝達的架構，只是打造符合開發者所定義主題、安全及資安準則聊天機器人的起點，以開源碼軟體形式發布給社群，以探索效能、蒐集回饋，並精進技術，Robust情報公司的研究確實點出在部署生產應用時必須額外採行的步驟。