2026 九合一選舉政見分析
臺北市

Q.ANT展示光子晶片搭配AMD GPU,分攤語言模型運算

媒角抵加News/林承志
發布:(台灣時間) 資料更新:(台灣時間)
Q.ANT公告照片經AI編排,人物手持NPU Gen 2+光子處理卡。

(媒角抵加/林承志綜合報導)德國業者Q.ANT於芝加哥當地時間11月17日在超級運算大會SC26展示新款光子處理器,搭配AMD GPU執行語言模型。光子晶片負責其中一種數學運算,GPU繼續處理模型的其他工作。公開資料未列整台伺服器的反應速度與用電。台灣開發團隊可先用公開工具測試程式介接,實際效能仍需用硬體比對。

關鍵資訊

  • 展示內容:Q.ANT的NPU Gen 2+搭配AMD Instinct MI210 GPU,執行約10億參數的語言模型推論。
  • 光子晶片分工:以光完成離散傅立葉轉換,分攤模型處理文字片段關係時的運算。
  • 成效證據:公開資料描述展示架構。整機耗電、回應速度與輸出品質仍待同一工作負載下的比較。
  • 台灣團隊可做什麼:在CPU上用開源工具測試程式介接。實體硬體試用另有德國的Gen 2試辦。

光子晶片分攤運算,GPU繼續執行模型

這場展示的問題是,能否把語言模型裡的一步計算交給光。依Q.ANT公告,團隊以新版光子處理器直接執行離散傅立葉轉換。這種轉換可把一組訊號拆成不同頻率的成分。Q.ANT在展示中用它處理原先由注意力層承擔的一部分工作,也就是計算文字片段之間的關係。GPU繼續處理模型其餘運算。

AMD與Q.ANT合撰白皮書的公開摘要列出,展示使用AMD Instinct MI210和Q.ANT NPU Gen 2+,模型約有10億個參數。公開摘要及展會公告未列整機耗電、從送出問題到收到第一段輸出的時間,也未附同等輸出品質下與純GPU系統的比較結果。

AI生成概念圖,左側光子晶片執行傅立葉轉換,右側GPU負責其餘模型運算。
AI生成概念圖。展示以光子晶片執行傅立葉轉換,GPU處理其餘模型運算。

光做完計算,結果還要送回電子系統

光子處理器須把輸入轉成光訊號,光學元件完成計算後,再由光偵測器把結果轉回電子訊號。德國萊布尼茲超級運算中心(LRZ)研究員Josef Weidendorfer在中心4月公布的測試紀錄指出,計算能在光學單元多留一段時間,就有機會減少資料搬移的耗電。LRZ當時比較的是Q.ANT第一代與第二代晶片,工作包含高效能運算和AI測試。此次SC26展示採用了後續的Gen 2+與AMD GPU。

Q.ANT執行長Michael Förtsch接受《IEEE Spectrum》採訪時也指出,把光訊號與數位訊號互相轉換,仍是能源成本的一部分。資料中心若要比較兩種配置,可以拿同一批實際請求,固定輸出長度和回應品質門檻,量第一段文字出現前的等待時間、整段回應多久完成,以及每次請求耗電。量測要涵蓋GPU、光子卡及訊號轉換。

台灣團隊可先測介接,再找實機量整台伺服器

台灣的矽光子案例也在處理資料中心的用電,但用光的步驟不同。台積電年報提到,COUPE光子引擎與共同封裝光學(CPO)用於高速傳輸資料。這場Q.ANT展示中,光子晶片本身參與模型的一步計算。採購時,前者可比較傳輸頻寬和每次傳輸用電,後者則要看語言模型從收到請求到完成輸出的整機表現。

有Python或C/C++開發人員的團隊,可以用Q.ANT開源工具包的CPU後端先驗證既有介面的程式呼叫與輸出。Q.ANT在展示公告表示,Gen 2+的支援正在擴充。需要量實際硬體用電時,IONOS的試辦說明列出德國機房的Gen 2硬體,業者先審查申請方的用途,入選者可免費測試。Q.ANT負責硬體、工具及導入支援,IONOS負責機房與伺服器。公開文件未列明台灣帳號能否加入,SC26展示的Gen 2+也未公布台灣報價與交付時程。Q.ANT試辦規則

相關報導可參考企業如何估算自架模型的推論成本及雲端推論如何配置記憶體。

資料來源與更新紀錄

六都政見盲測 不看名字,你會選誰