AI 基礎設施的「淘金熱經濟學」

當 GPU 使用率不到五成,當賣鏟子的人自己也焦慮地把改良鏟子的工廠買下來——這場淘金熱裡,到底誰在挖金礦,誰在挖空氣?

矽谷某間新創公司的會議室裡,工程師指著螢幕上一張 GPU 使用率報表,苦笑著說:「老闆,我們買了十張 B200,平均每張的使用率是 40%。」老闆愣了三秒:「所以我們花了幾千萬美元,買了一堆晚上會發呆的晶片?」
工程師點點頭。老闆沉默地把咖啡喝完。
這不是段子,這是 2026 年許多企業 CFO 正在經歷的真實心碎現場。而這個心碎,剛好催生出一門新生意——大家開始把「怎麼讓晶片別發呆」這件事,包裝成一個估值動輒好幾億美元的產業:AI Infra(AI 基礎設施)。

淘金熱裡,鏟子也會過期

矽谷正在流傳一句老話的新版本:「淘金熱裡,真正賺錢的是賣鏟子的人。」套用在這波 AI 熱潮,鏟子就是 GPU,礦坑就是大型語言模型的訓練與推理。

問題是,鏟子這次特別貴——一張晶片動輒數萬美元,而且據對談中提及的產業觀察,許多企業買下這些頂級硬體後,竟然有一半以上的時間都在「空轉」。這種浪費法,大概等同於租了台法拉利去買菜,而且車子有一半時間停在紅綠燈前發呆,不是塞車,是它自己選擇不動。

會發呆的原因,說穿了也不神秘。首先是「記憶體牆」——晶片的運算核心速度太快,快到必須傻等資料從記憶體搬過來,像米其林主廚被叫去炒菜,結果食材還在倉庫的貨架上找不到路。第二個問題更荒謬:一個只需要一成算力的小任務,卻可能鎖死整張頂級晶片,讓剩下九成的算力像被貼了「已預約,勿使用」的公廁隔間,乾晾在那裡誰也用不到。第三個問題是「序列瓶頸」——早期的生成式 AI 只能一個字一個字慢慢吐,完全不像正常的網頁伺服器能同時應付海量請求,活像一位堅持要客人排隊、一次只服務一人的路邊攤老闆,即使後面已經排到轉角。

工程師的解法,聽起來像在管理菜市場

矽谷軟體工程師想出的解法,其實邏輯樸實得可愛。「連續批次處理」講白了,就是不用等一整批客人點完餐才出餐,而是誰點好就先做誰的,讓廚房永遠有事做。「PagedAttention」則是把模型的暫存記憶體,學電腦作業系統管理硬碟分頁的方式切碎分配,消除記憶體的零碎浪費,讓一台伺服器能同時服務的人數翻好幾倍。至於「GPU 虛擬化與切片」,概念更像是把一整棟豪宅隔成好幾個套房分租,反正房東要的是租金極大化,不是每間房都要有落地窗海景。

聽起來很技術,但本質上,這整套產業做的事情,跟菜市場攤販精算食材、隔間出租雅房沒有本質差異——只是換了個場景,標價從萬元換成千萬美元。

資本市場已經下注,但賭的到底是誰

如果覺得這只是工程師的自嗨,資本市場可不這麼想。據對談中提及,vLLM 這個原本是學術專案的推理框架,在 2026 年 1 月轉型成新創公司「Inferact」,拿到 1.5 億美元種子輪,估值來到 8 億美元;同期另一個專案 SGLang 也商業化成「RadixArk」,拿下 4 億美元估值。而專注推理基礎設施的 Modal Labs,更是在短短五個月內,估值從 11 億美元一路談到 25 億美元,儘管其年化營收「才」約 5,000 萬美元——這個倍數,恐怕連炒房都要甘拜下風。

但這裡有個諷刺的轉折:Nvidia,這位理論上該是「賣鏟子」最大贏家的公司,自己卻也忙著收購調度、優化這些「鏟子改良」相關的公司,累積投入金額據對談中提及已超過 300 億美元。換句話說,賣鏟子的人自己也怕鏟子不夠好用,乾脆把改良鏟子的工廠一併買下來。這已經不是單純賣鏟子的生意了,更像是壟斷整條淘金產業鏈——你買鏟子、租礦坑、甚至連淘金的水都得跟同一家買。

熱潮裡的冷水:企業其實沒賺到什麼錢

講到這裡,故事應該要進入「AI Infra 是穩賺不賠新藍海」的勵志結局了吧?可惜現實比劇本掃興。
據對談中提及的產業預測,僅有 15% 的企業決策者表示過去一年真的看到獲利成長(EBITDA 提升),不到三分之一的人能把 AI 投資和財務報表的變化說清楚講明白。更慘的是,大約三分之一的生成式 AI 專案,會在「概念驗證」做完之後就直接被放棄,原因不外乎資料品質差、風險控管不足、還有基礎設施成本失控——講白話一點,就是花錢花到肉痛,卻連個成果報告都生不出來。

企業高層現在的反應也很誠實:延後四分之一原本規劃好的 AI 支出到明年,並且讓 CFO 更深入介入每一筆 AI 投資決策。翻譯成人話就是:「工程師講的話,以後要先給財務長過目,不能再讓 IT 部門自己爽就好。」

甚至還有一個特別黑色幽默的發現——有些企業買了一堆 GPU 做 AI,結果真正賺到錢的,反而是拿這些晶片去做「非 AI」的事。這大概像是花大錢辦了健身房會員,結果真正省到的錢是因為辦卡那天順便買了打折的運動鞋。

結語:鏟子很貴,金礦還不確定存不存在

回到那間會議室,老闆喝完咖啡後大概會想:早知道先搞懂「利用率」這件事,再簽下那張採購單。這正是整個 AI Infra 產業存在的理由——不是因為大家突然良心發現要環保省電,而是因為晶片實在太貴了,貴到浪費不起。
只是,當賣鏟子的人自己也焦慮地把改良鏟子的工廠買下來,當投資人願意為一家年營收才五千萬美元的公司,五個月內把估值喊到二十五倍營收,你不禁要懷疑:這場淘金熱裡,到底有多少人真的相信金礦存在,又有多少人只是想在故事說完之前,先把手上的鏟子高價賣掉。
至於答案,可能要等 CFO 們把那四分之一延後的預算,決定要不要花下去的那一天,才會揭曉。

事實核查備註

文中關於 GPU 利用率、記憶體牆、連續批次處理、PagedAttention、GPU 虛擬化、Inferact / RadixArk / Modal Labs 募資金額、Nvidia 收購金額、企業 AI 投資 ROI 數據(15% EBITDA 提升、三分之一專案陣亡、延後四分之一支出)、GPU 投資在非 AI 應用獲得意外回報等內容,均整理自本次對談中引用的產業報告與新聞來源;文中的比喻(法拉利買菜、公廁隔間、路邊攤、健身房會員等)、情境對話,以及對「賣鏟子的人自己也在挖礦」的評論與懷疑語氣,均為作者本人的詮釋與創作,非對談原文或外部事實陳述。