AI推論基建需求漲 DeepInfra募資1.07億美元擴張

隨著人工智慧（AI）應用對推論（Inference）基礎設施的需求日益增長，專為高效能AI推論打造的雲端平台DeepInfra，於今（13）日稍早宣布完成高達1.07億美元的B輪融資，將用於進一步擴展其全球GPU叢集佈局。

DeepInfra目前在美國八個資料中心設有GPU叢集，並計畫隨著需求成長，逐步增加國際站點。該公司強調，其平台提供從硬體到應用程式介面（API）的完整解決方案，確保比現貨或租賃容量更可預測的延遲、更低的成本及更高的穩定性。同時，DeepInfra也支援開源模型與代理式AI工作負載。

市場分析指出，此波融資反映出部分投資者將生產規模的AI推論視為一個獨立的基礎設施市場，與GPU現貨/運算市場及超大規模服務商的產品形成互補。《Let's Data Science》評論認為，像DeepInfra這類專精推論基礎設施的業者，正回應市場上兩大趨勢壓力：一是高吞吐量、代理驅動型工作負載的普及，二是開源模型日益成熟與廣泛部署。輝達（Nvidia）及專注於系統投資者的參與，更突顯了硬體與軟體整合解決方案的重要性。

DeepInfra的數據顯示，自其A輪融資以來，每週處理的代幣量已成長25倍，達到近五兆個。目前DeepInfra約有25名員工，並計畫持續擴編以應對業務增長。投資者認為，對於機器學習工程師和平台團隊而言，這項發展意味著廠商在延遲、每代幣成本經濟效益，以及與開源模型生態系整合方面的日趨成熟。