輝達GPU搭上這波AI浪潮稱霸全球,近期卻傳出輝達H100自2023年3月上市之後,已從原本的「供不應求」到目前的「供過於求」,引發各界關注。
綜合外媒報導,輝達H100伺服器的租賃價格從去年每小時8美元,降價至目前的2美元左右,顯示出市場價格波動劇烈。至於價格下跌是多方因素所導致,包括有些長期預訂H100的公司,在完成模型訓練之後,轉售閒置未使用的算力;此外,許多公司不再從頭訓練新模型,轉而微調開放模型,也讓算力需求大幅降低。
與此同時,專注構建大規模基礎模型的新創公司數量大幅減少,加上輝達競爭對手:超微(AMD)、英特爾的GPU產品陸續上市,多重因素導致H100的租賃價格漸進式下滑。
根據紅杉資本的最新報告指出,基礎模型訓練的資本支出被廣泛認為是 「歷史上貶值最快的資產」,在AI基礎設施層面,全球數十億美元的投資究竟是促進行業繁榮還是形成泡沫,成為市場熱議的話題。以生成式AI揚名的OpenAI為例,其訓練與推理支出已超過收入。
新創公司Featherless.Ai執行長Eugene Cheah深入研究H100 SXM GPU的投資回報率(ROI)並指出,由於預留計算資源的轉售、開放模型的微調以及基礎模型公司的減少,市場上的H100算力已經供過於求。分析進一步指出,H100租賃價格並非驟然暴跌,波動已有時日,從A100到H100、從H100到H200,再到最新的Blackwell,新品問世勢必帶來前代產品的沒落。輝達將在今年下半年推出新一代Blackwell系列晶片,目前已進入全面量產階段,預計貢獻第四季營收,規模可高達10億美元。