Meta XR Operator 實驗性發布 AI Agent 首度操控虛擬世界

Meta 近日發表實驗性工具 XR Operator，為延展實境（XR）應用開發帶來新突破。這項工具首次讓人工智慧 Agent（能執行任務的人工智慧程式）能夠直接操控 XR 虛擬環境，有助於大幅提升開發與測試效率。

XR Operator 透過基於 OpenXR（XR 領域的開放標準）的 API 層運作，並利用 MCP（模型上下文協議，一種讓 AI 工具發現並呼叫程式功能的開放標準）在應用程式內啟動本地伺服器，讓 AI Agent 得以存取並控制虛擬世界的各項功能。

藉由 XR Operator，AI Agent 不僅能設定虛擬頭部的空間位置和方向，還能透過控制器（包含按鈕、扳機、握把與搖桿）與虛擬環境進行互動。此外，它能讀取 Unity 場景圖，識別使用者介面（UI）中的按鈕、開關及滑桿，甚至能列出房間、牆壁、地板、家具等空間實體及其語義標籤，並捕捉虛實整合的複合圖像。

Meta 在其示範中展示 AI Agent 撰寫井字遊戲的邏輯，並成功操控虛擬控制器來放置棋子，直到完成勝利。這項技術特別適合重複性的品質保證（QA）任務，例如啟動建構、導航選單以及確認按鈕功能變更後的運作狀況，能透過自然語言描述情境，由 Agent 執行後回報結果並附上截圖證明。

不過，Meta 也坦承 XR Operator 存在多項限制。該工具無法處理音訊，因此空間音效和混音等級等無法檢測；也無法正確評估動畫與運動表現。此外，它缺乏個別手指追蹤功能，對細微的視覺缺陷反應不佳，且運行速度不足以進行即時互動，因此較難處理動態目標。Meta 建議 XR Operator 最適用於「靜態、確定性情境」。

要體驗 XR Operator，開發者需使用 Unity 6000.0.x 或更高版本、Meta XR Core SDK v205 或更高版本、OpenXR Plugin 1.17.0 或更高版本，以及支援 MCP 的編碼工具（例如 Claude Code）。目前文件頁面顯示其最後更新日期為 2026 年 7 月 27 日。Meta 將此工具定位為實驗性組件，並提醒工具名稱、API 和行為可能隨時變動。