輝達聯手 Perplexity AI 打造本地端人工智慧代理

商傳媒/[email protected] (商傳媒 SUN MEDIA)
7 小時前

商傳媒|何映辰/台北報導

人工智慧公司 Perplexity AI 與晶片大廠輝達(Nvidia)攜手合作,於週二發表「Portable Computer」平台。這項新平台旨在將人工智慧(AI)模型的運算從雲端伺服器轉移到用戶的個人硬體上,也就是實現本地端AI(On-device AI)。

Portable Computer 是 Perplexity AI 旗下一款人工智慧代理(AI agent)的在地化版本,該公司核心業務是提供能理解並執行多步驟任務的人工智慧代理服務。與其二月推出的雲端版「Perplexity Computer」不同,Portable Computer 讓 AI 運算完全在用戶裝置上進行。本地端AI 的優勢在於能提升資料隱私性,用戶的敏感資訊不需上傳雲端;同時也能避免傳統雲端服務衍生的每月費用,並確保更穩定的效能。

Portable Computer 的初始版本將支援輝達的 DGX Spark 個人超級電腦,以及搭載輝達 RTX 系列顯示卡的 Linux 電腦。這意味著用戶需要足夠強大的硬體,例如至少具備 24GB 或 32GB 顯卡記憶體(VRAM,顯示卡進行運算時儲存資料的專用記憶體)的輝達顯示卡,才能流暢運行這些大型語言模型。例如,GeForce RTX 5090 消費級顯示卡與專業級的 RTX Pro 系列顯示卡均符合要求。Perplexity AI 計畫今年稍晚也會推出適用於 Windows 系統的支援。

在新平台推出初期,Portable Computer 將支援一系列模型,包含阿里巴巴開發的 Qwen 3.8 27B 模型,以及 Perplexity AI 自行優化過的 PPLX 27B 版本。未來,輝達的 Nemotron 3.5 Lightning 模型也將加入支援行列。這些模型具備處理多步驟任務的能力,例如總結文件、從資料中萃取資訊、執行分析,甚至能連結 Slack、Google Drive、Gmail 與 GitHub 等常用應用程式,以完成複雜工作。若遇到本地模型難以處理的複雜任務,Portable Computer 仍可選擇性地詢問用戶是否要連結雲端模型進行輔助運算。

產業分析機構 JPR 認為,混合式人工智慧(Hybrid AI)是未來產業發展方向。這種模式結合本地端運算的隱私與成本優勢,並在需要時利用雲端模型的強大能力,能提供更具成本效益與控制力的 AI 體驗。此外,市場傳聞輝達正考慮對 Perplexity AI 進行投資,估值可能達到 300 億美元。