2026年八月份美國矽谷給專業人看的最新AI人工智能消息

記者張杰倫報導

在2026年8月的矽谷，空氣中依舊彌漫著算力狂熱的焦濁味。從DeepSeek V4、智譜GLM-5.2，再到剛剛掀起討論熱潮的Kimi K3，開源與閉源大模型的疊代速度令人窒息。各大科技巨頭在AI基礎設施上的資本支出預計今年將突破1萬億美元，黃仁勳甚至大膽預測，到2030年全球AI基礎設施的年投資額將達到令人咂舌的4萬億美元。

然而，在華爾街的顯微鏡與矽谷工程師的深夜日誌裡，一個被隱藏很久的秘密正在被掀開：我們傾盡全力搶購回來的GPU，其實有一半的時間都在「打瞌睡」。

一場圍繞著「GPU利用率」的效率革命，正成為2026年8月矽谷最核心的競爭焦點，並悄然孕育出一個千億美元級別的新市場——AI Infrastructure（AI基礎設施，簡稱 AI Infra）。

第一章：一台400萬美元機櫃的「打瞌睡」秘密

想像一下，你花費了約400萬美元，好不容易搶到了一台包含72張芯片的英偉達GB200 NVL72頂級伺服器機櫃。但如果你的軟件調度與基礎設施沒有做好優化，這台龐然大物的實際GPU利用率可能只有50%。

這意味著什麼？意味著另外200萬美元，正以電費、硬體折舊與機會成本的形式，白白在機房裡燒掉。

卡耐基梅隆大學（CMU）最近對756塊GPU（涵蓋從A100、H100到最新 Blackwell 系列產品）進行了長達31天的細顆粒度實測，結果令人震驚：在觀測集群中，整體上有近20%的執行時間和11%的能源被浪費在「乾等」上；而在複雜的程式碼生成與Agent推理場景中，空轉導致的能耗浪費甚至高達50%至65%。

為什麼GPU總是跑不滿？

要解答這個問題，我們必須拆解 AI Infra 的四層架構：

1. 能源基礎設施（Power Infrastructure）： 電與散熱。它決定了GPU能否穩定運行不降頻。

2. 計算硬體（Hardware）： GPU、高帶寬內存（HBM）、高速互聯與CPU。它決定了理論計算上限。

3. 系統軟件（System Software）： 編譯器、通信庫、內存管理與底層算子庫。它決定每一次計算能否觸及硬體的物理極限。

4. 服務編排（Service Orchestration）： 推理引擎、調度器與資源管理。它像交響樂團的指揮，決定任務的優先級與動態分派。

下兩層是「硬問題」，電力、散熱與芯片改造的週期動輒以年計算，且物理極限正在快速見頂；而上兩層則是「軟問題」，屬於工程與算法優化。如果把工程精力投入到系統軟件與服務編排層，往往能帶來數倍的性能提升——把利用率從50%推升到90%以上，效果就相當於憑空多生出一台價值數百萬美元的頂級機櫃。

第二章：千億美金賽道迎來頂級對決

當模型競爭從「訓練階段」全面轉向「大規模部署與推理階段」，如何讓模型跑得更快、更便宜，成了所有企業的生死線。

在這一浪潮下，AI推理平台 Baseten 的估值從21億美元暴漲至130億美元，年收入增長了20倍；同賽道的 Fireworks 在7個月內估值翻了四倍達到175億美元，年化營收突破10億美元。

而就在2026年8月，這個賽道迎來了一股極其強勁的新勢力：由開源推理引擎 SGLang 孵化出的商業化團隊 RadixArk 正式亮相，並宣佈完成超過1億美元的種子輪融資。

這筆融資背後的投資者陣容豪華得令人發指：英偉達、AMD、DataBricks 等硬體與系統巨頭全員到齊；個人投資者更包括英特爾前CEO帕特·基辛格（Pat Gelsinger）、博通CEO陳福陽（Hock Tan）以及 OpenAI 的聯合創始人等。

這些產業巨頭之所以一致押注 RadixArk，是因為對於芯片廠商和模型公司來說，推理引擎是連接「算力」與「應用」的最核心入口。誰掌握了極致的推理引擎，誰就能把全球的開發者與模型生態吸引到自己的算力護城河中。

正如 Anthropic 內部揭露的數據，其內部 AI Infra 工程師團隊已擴充至200多人。正是靠著這支隊伍在三年間將基礎設施從極度不穩定打磨到極致優化，才讓 Anthropic 在2026年第二季度順利實現盈利。然而，對於廣大沒有資金自研 Infra 的中小型企業而言，以 SGLang 和 vLLM 為代表的開源引擎，就成了他們唯一的救命稻草。

第三章：「榨」出矽的極限——工程師如何消除四大浪費？

那麼，AI Infra 工程師們到底是如何把GPU的物理極限「榨」出來的？目前業界的所有極致優化，基本上都在回答以下四個核心問題：

1. 哪些計算不用重新做？——破解「推理稅」與 Radix Attention

在大模型 Agent 和自動程式碼生成的寫作流中，存在一個極其昂貴的現象：同樣一段工具描述或系統提示詞（System Prompt），可能被調用幾十上百次，但模型每次都要從頭算一遍。業界將這種白白浪費的算力稱為「推理稅」。

為了解決這個問題，SGLang 提出了核心技術 Radix Attention。它利用「基數樹（Radix Tree）」數據結構來組織所有請求的 KV Cache（鍵值緩存），構建出一棵共享前綴的家族樹。只要開頭相同的請求，就能直接共享一段計算結果，只有當內容出現分叉時才長出新枝葉。

配合像餐廳後廚安排菜單一樣的 Cache Scheduling（緩存調度）——把相似點單（如三份麻辣香鍋）集中連續處理，以及 Cache-aware 負載均衡，成功將許多長上下文場景下的算力成本暴降了90%。

2. 哪些等待可以被消除？——PD分離與連續批處理

早期的推理引擎像排隊打飯，一個算完才輪到下一個；後來演進到 Batching（批處理），湊滿一車人再發車，但只要車上有一個長文本請求，所有短文本用戶就必須陪著乾等。

現在的主流技術是 Continuous Batching（連續批處理），GPU 變成了一輛隨時上下客的公車，新請求隨時上車，算完的隨時下車，直接讓 GPU 吞吐量提升了2至4倍。

更關鍵的突破在於 Prefill/Decode（PD）分離。大模型推理分為「讀入（Prefill）」與「生成（Decode）」兩個階段：Prefill 是高計算密集的，需要快速吃下大段文字；Decode 則是高內存帶寬密集的，一個字一個字往外蹦。過去把兩者塞在同張卡上，互相拖累。

如今像 DeepSeek 等頂級團隊均採用 PD 分離架構——用32張 GPU 組成 Prefill 最優單元，專門負責理解輸入；一旦開始逐字回答，任務立刻通過高網絡傳遞給專門的 Decode 卡集群。兩撥卡各司其職，互不干擾。

3. 哪些算力沒有吃滿？——低精度計算與投機採樣

為了讓 GPU 的 Tensor Core 不停轉，工程師們推行了 低精度計算（如 FP8、INT4 甚至 FP4），在幾乎不損害精度的前提下，將顯存占用砍半，釋放走一倍的計算空間。

另一項黑科技是 Speculative Decoding（投機採樣）。它安排一個速度極快的「小助教模型（Draft Model）」先幫忙一口氣預測接下來的幾個詞，再讓高深莫測的「大教授模型」進行一次性併行驗證。猜對了就一鼓作氣全通過，猜錯了再從錯的地方更正。在最佳狀態下，生成速度能直接翻上2到3倍。

4. 哪些資源沒有協同？——RL 後訓練與 Miles 框架

隨著 OpenAI O1 與 DeepSeek R1 掀起強化學習（RL）推理模型浪潮，AI 訓練與推理的界限被打破了。傳統訓練是單一地餵數據、改參數；而 RL 後訓練（Post-training）是一個「推理生成 \bm{\rightarrow} 評分反饋 \bm{\rightarrow} 參數更新」的高頻循環。

如果在傳統框架下跑 RL，GPU 會在「推理時訓練卡乾等，訓練時推理卡乾等」的狀態中反覆撕扯。

為了解決這一痛點，RadixArk 團隊在 SGLang 之外推出了全新的開源後訓練框架 Miles。Miles 將訓練與推理放在同一個系統中統一調度，讓 SGLang 在推理端源源不斷產出高質量思維鏈樣本，Miles 在訓練端實時更新權重，並精準維持推理與訓練的數據一致性（Inference-Training Alignment），大幅消除了階段切換間的等待消耗。

拆掉 Frontier Lab 的壁壘，迎接 AGI 的真正下沉

在過去，極致的 AI Infra 優化技術是少數頂級前沿實驗室（Frontier Labs）獨佔的「黑魔法」護城河。但隨著 SGLang、RadixArk 與開源生態的崛起，這些技術正轉化為任何一家初創公司都能隨插即用的公共基礎設施。

正如 RadixArk 創始人在訪談中所說的願景：「我們做這件事最大的動力，就是希望以後不再有『Frontier Lab』這個詞。」

當工程門檻不再是阻礙創新的大山，當每一個「榨乾矽晶圓極限」的技術紅利被全面釋放，全球帶著新想法、新架構與新應用場景的創業者們，將得以站在同一條起跑線上。這或許才是2026年8月這場矽谷效率革命中，最令人熱血沸騰的意義所在。