Sophos 是創新和提供新一代網路安全即服務的全球領導者，今天發布兩份關於人工智慧應用於網路犯罪的報告。第一份報告名為《AI 的黑暗面：由生成式 AI 支援的大型詐騙活動》，揭露了未來詐騙者如何利用像 ChatGPT 這樣的技術，只需最少技術門檻便能進行大規模的詐騙。然而，另一份名為《網路犯罪者對 GPT 仍無共識》報告發現，儘管人工智慧具有潛力，但有些網路犯罪者並不會積極採用像 ChatGPT 這樣的大型語言模型 (LLM)，甚至對使用人工智慧進行攻擊持保留和懷疑的態度。
人工智慧的黑暗面
只要利用簡單的電子商務範本和如 GPT-4 的大型語言模型工具，Sophos X-Ops 就能建立一個功能完整的網站，包括由人工智慧產生的圖片、聲音和產品描述，以及假的 Facebook 登入和結帳頁面，可用來竊取使用者的登入憑證和信用卡資訊。建立這種網站所需的技術門檻非常低，而且使用同一工具，Sophos X-Ops 能夠在幾分鐘內一鍵建立數百個類似的網站。
Sophos 資深資料科學家 Ben Gelman 表示：「犯罪分子改用新技術來進行自動化是自然且可預料之事。最初導入垃圾郵件，就是詐騙技術的一個重要里程碑，因為它改變了攻擊的規模和方式。新的人工智慧正處於相同的位置；如果存在能夠產生完整自動化威脅的 AI 技術，人們最終就會使用它。我們已經看到生成式人工智慧元素被整合到經典的詐騙中，例如使用 AI 生成的文字或照片來誘騙受害者。
「然而，我們進行這項研究的部分原因是為了超前犯罪分子一步。透過建立一個比犯罪分子現有工具更先進的大規模詐騙網站生成系統，我們有機會在威脅蔓延之前先進行分析和準備。」
網路犯罪者對於 GPT 仍無共識
為了研究攻擊者對人工智慧的態度，Sophos X-Ops 調查了四個知名的暗網論壇，檢視與大型語言模型相關的討論。儘管網路犯罪者對於人工智慧的使用似乎還處於早期階段，但暗網上的威脅行為者開始討論它在社交工程方面的潛力。Sophos X-Ops 已經看到在以交友為基礎的加密貨幣詐騙中使用人工智慧的案例。
此外，Sophos X-Ops 發現大多數貼文與出售被竊的 ChatGPT 帳戶以及「越獄」有關——這是繞過大型語言模型內建保護措施的方法，網路犯罪分子可以藉此濫用它們進行惡意用途。Sophos X-Ops 還發現了十個 ChatGPT 的衍生版本，創作者聲稱可以用於發動網路攻擊和開發惡意軟體。然而，威脅行為者對這些衍生版本和其他對大型語言模型的惡意應用反應不一，許多犯罪分子表示對這些模仿 ChatGPT的創作者試圖欺騙自己人感到卻步。
Sophos X-Ops 研究主管 Christopher Budd表示：「自 ChatGPT 釋出以來，網路犯罪分子是否會濫用人工智慧和大型語言模型引人矚目，但我們的研究發現，到目前為止，威脅行為者對它的懷疑勝過熱情。在我們調查的四個暗網論壇中的兩個，我們只發現了 100 篇關於人工智慧的貼文。相比之下，在同一時間，則有 1,000 篇和加密貨幣有關的貼文。
「我們確實看到一些網路犯罪分子試圖使用大型語言模型建立惡意軟體或攻擊工具，但成果都很不理想，常常遭到其他用戶的懷疑。在某個案例中，一名威脅行為者急於展示 ChatGPT 的潛力，還無意中透露了自己的真實身分。我們甚至發現了許多人工智慧對社會可能會產生負面影響和道德問題的『反省文』。換句話說，至少目前看來，網路犯罪分子對大型語言模型的看法與我們其他人一樣，仍無共識。」
若想了解更多由人工智慧生成的詐騙網站以及威脅行為者對大型語言模型的態度，請閱讀 Sophos.com 上的《AI 的黑暗面：由生成式 AI 支援的大型詐騙活動》和《網路犯罪者對 GPT 仍無共識》。