裝置端AI效能戰升溫 Underdog Fantasy Apple晶片速度領先蘋果MLX

根據《TokenPost》報導，專注於裝置端人工智慧（on-device AI）的 Conway Research，近日推出其首款產品 Underdog Fantasy。這款人工智慧助理專為在支援的裝置上直接執行運算任務而設計，其在蘋果 Apple晶片上的基準測試結果顯示出令人矚目的效能。

Underdog Fantasy 搭載了 40 億參數模型 Woof，並採用專為 Apple晶片打造的推論引擎 Husky。裝置端人工智慧（on-device AI）指的是將人工智慧運算直接在個人裝置（如智慧型手機、電腦）上執行，無需依賴雲端伺服器，因此 Underdog Fantasy 能在 Mac 和 iPhone 上運行，即使沒有 Wi-Fi 連線也能使用，並能將使用者資料保留在裝置上，提升隱私保護。

Conway Research 公布的基準測試報告指出，在蘋果 M5 Max 晶片上，針對一項特定的函式編輯任務並啟用 Flash 功能時，Underdog Fantasy 達到了每秒 730 個 Token 的峰值速度。更值得注意的是，在相同的測試任務與配置下，Underdog Fantasy 的速度比蘋果自家的 MLX framework 快上 4.5 倍。然而，該報告也提及，此數據為峰值表現，且測試結果在 16 項任務中有所差異，因此不能完全代表所有使用情境或硬體上的普遍性能。

目前，Underdog Fantasy 的設計主要針對 Apple晶片進行優化，其在其他消費性硬體上的表現則未被提及。此次測試結果突顯了 on-device AI 在個人裝置上的潛力，也預示著未來個人運算裝置在人工智慧應用方面將有更獨立且高效的發展。