Claude玩《寶可夢》靠筆記修正迷路 Anthropic測試代理記憶

媒角抵加News/林承志
發布:(台灣時間) 資料更新:(台灣時間)
手在筆記本上修正路線,旁邊放著關閉畫面的掌上遊戲機;圖中文字為Claude玩寶可夢、修正筆記再找路。

(媒角抵加/林承志綜合報導)AI代理長時間執行任務時,寫下的筆記也可能帶錯路。Anthropic於11月6日公布一系列代理記憶測試,其中讓Claude玩《寶可夢 紅》,再利用過往紀錄修正錯誤地點筆記:修正後的一次遊玩走回山洞並抵達下一座城市,未修正筆記的對照遊玩則反覆回到原路。公司也測試文件檢索;這些結果呈現特定實驗條件,工作任務的效果仍待驗證。

關鍵資訊

  • 研究主題:Anthropic測試代理如何在不同工作階段保存、整理與取用記憶。
  • 遊戲例子:Claude回查遊玩紀錄後修正錯誤地點筆記,在一次對照中走出重複迷路的狀況。
  • 文件測試:公司在25題內部文件評估中,比較搜尋、整理後的知識頁及兩者結合。
  • 台灣使用:Claude支援地區包括台灣;研究用的背景整理流程與一般聊天功能不同,開發者可參考官方範例自行建立。

記錯寶可夢中心位置,代理反覆走回原路

Anthropic在研究文章中指出,遊戲代理需要穿越月見山,卻曾把入口附近寶可夢中心的位置記錯,誤以為自己已經通過山洞。後續它走下單向坡道,回到先前路線,卻仍相信自己走在正確方向。

研究人員讓Claude利用一段背景整理程序回查遊玩紀錄、修正筆記,再從該情境繼續。依Anthropic描述,修正筆記的遊玩重新進入山洞,最後抵達下一座城市;未修正筆記的遊玩三度跌回原路,最終沒有抵達目的地。沒有記憶的對照遊玩也未到達。

Anthropic把這種利用任務間空檔整理既有紀錄的程序稱為「dreaming」,可用來核對或改寫筆記。這裡的記憶是跨工作階段保存、之後可讀取的資訊,並非修改模型參數;一次對照顯示錯誤筆記如何影響後續行動,也未說明所有錯誤都能自動修正。

人物在桌前比較兩疊空白紙,桌上放有筆記本與鉛筆。
比對筆記與原始紀錄的AI生成情境示意。

兩代模型遊玩紀錄,筆記數量與進度不同

公司也比較兩個Claude模型各一次《寶可夢 紅》遊玩的記憶資料夾:約進行1萬步時,Sonnet 3.7建立413個檔案、取得1枚徽章;Fable 5則建立10個檔案、取得4枚徽章。Anthropic觀察,前者記下大量遭遇和戰鬥,後者較集中於目標、地點與策略。

這是不同模型各一次遊玩的觀察,模型能力和遊玩過程都可能影響結果,無法單憑徽章與檔案數判斷哪一種記憶策略造成差距。Anthropic也指出,持續檢查筆記需要運算資源,記憶內容可能過時或一開始就寫錯。

文件檢索有測試結果,其他任務效果不同

在遊戲以外,Anthropic以旗下軟體公司Stainless約35萬個內部文件建立25題評估,測試Claude整理知識頁與搜尋原始文件的效果。依研究公布的評分,知識頁經多輪整理後,搭配搜尋達成61%的評分項目;只用搜尋為53%,只用整理後的知識頁最高為48%。這些百分比是該評估的評分項目達成率,不是25題的答對率。

研究也發現,另一項法律文件任務中,部分答案可從單一文件搜尋取得,知識頁相較搜尋沒有明顯提升;另有知識頁整理後比原始文件更長。對長任務而言,保存紀錄、查找原件和整理筆記各有成本,實際設計要看資料與問題的性質。

另一組研究人員的《Continual Harness》論文也以《寶可夢》測試代理調整記憶與工作方式,顯示遊戲環境可用於觀察長程任務;該研究採不同方法,並非對Anthropic這次結果的重現。

台灣可使用Claude,背景整理需依工具建立

Claude支援地區說明列有台灣。Anthropic另提供記憶工具文件:開發者的應用程式要自行處理檔案操作與儲存,讓代理在不同階段讀寫記憶;公司也公開背景整理範例。

對想測試長任務的團隊,這些文件提供建立流程的起點。研究中的遊戲情境、內部文件評估與範例,並不代表每個Claude帳戶都會自動執行相同背景程序,實際功能與資源需求依所使用的服務及設定而異。

資料來源與更新紀錄