【記者蔡富丞/綜合報導】在今年的2024台北國際電腦展(COMPUTEX 2024),各家廠商均將AI(Artificial Intelligence)人工智慧作為宣傳重點,如超微(AMD)、英特爾(Intel)、輝達(NVIDIA)、高通(Qualcomm)……等。在市場全面擁抱AI應用的情況下,該如何解決大量運算工作負載伴隨的廢熱、滿足高密度部署的散熱需求、同時間還要兼顧環境永續發展?因此我們可以見到不少廠商推出資料中心伺服器液體冷卻解決方案。
處理器大廠英特爾近年極力發展先進冷卻技術,其首要任務是解決高熱通量晶片的散熱問題,並改善資料中心的能源使用效率(PUE),並兼顧環境永續發展議題。目前英特爾已和多家知名廠商、單位陸續設立4間先進散熱技術聯合實驗室,各自針對不同領域與英特爾共同研發劃時代的散熱技術;專精於熱導管、均熱板、散熱片、冷板解決方案的邁萪科技(Microloops)正是其中1家,於本屆展場上推出吸引眾人目光的成果,英特爾執行長Pat Gelsinger也駐足稱讚。
截至目前為止,液體冷卻技術仍存在水管接縫處液體容易外漏的問題,雖然能夠透過埋設感應器監測並告警,卻無法避免因漏水造成伺服器停機維護甚至發生硬體損毀的狀況。即便採用硬管焊接方式,完全封死水管連接處,但也隨之帶來成本過高、組裝繁複、維護不易……等問題,顯示硬管焊接並非較佳的解決辦法。
英特爾於2023年推出Open IP SuperFluid Cooling Technology,今年在展場中透過搭載8個Gaudi 3 AI加速器OAM的伺服器設計,並搭配邁萪科技冷板,展示該技術應用於單相式冷卻液的成果。超流體技術主要利用空氣當作潤滑系統,降低液體在運動狀態下降低與冷板鰭片的摩擦力,提升流場速度增加熱傳導效率,並可適用水、氟化液、合成油……等多種冷卻液,目前解熱效能已達單晶片1500W以上。
若是將Open IP SuperFluid Cooling Technology結合提升比熱並降低黏度的新開發不導電液體,預期目標達到原先用水性能的70%〜80%,就有機會取代以水為基底的冷卻液,去除用水外漏的疑慮。與此同時,英特爾和邁萪科技亦針對SuperFluid開發新款冷卻分配單元(CDU)與最佳化歧管設計,完善整體液體冷卻系統。
此Open IP SuperFluid Cooling Technology展示的另一個重點,即為搭載英特爾最新針對AI應用所推出的Gaudi 3 AI加速器,2U空間容納8個OAM外型規格,專門針對液體冷卻方式所設計之HL-335型號,TDP達900W。此外尚有同樣是OAM外型規格、TDP 900W,針對氣冷環境所設計的HL-325L,另有採取雙槽、全高、長度10.5吋、氣冷設計,TDP達600W的PCIe介面卡版本HL-338。針對中國大陸市場也會推出相應的OAM和PCIe介面卡版本。
根據英特爾的公開資料,最新一代Gaudi 3 AI加速器在LLAMA-7B、LLAMA-70B、Falcon-180B大型語言模型推論效能,相較NVIDIA H100和H200平均可提升50%、30%,能源效率為H100的1.4倍,而LLAMA-7B、LLAMA2-13B訓練效能更達H100的1.5倍和1.7倍。之所以有如此顯著的差異,主因為Gaudi 3 AI加速器相較前一世代Gaudi 2有著大幅度的規格提升,強調在效能、能源效率、成本上比競爭對手更加優秀,執行長Pat Gelsinger於主題演講中表示成本僅需三分之二。
Gaudi 3 AI加速器在於單一封裝搭載8個矩陣乘法引擎(MME)和64個完全可程式化的張量處理器核心(TPC),支援FP32、TF32、BF16、FP16、FP8深度學習常見資料類型,並共同封裝高達3.7TB/s頻寬的128GB HBM2e記憶體;相較前一世代Gaudi 2提供2倍的FP8 GEMM FLOPS效能,以及4倍的BF16 GEMM FLOPS效能。在創新技術與開發下,英特爾可望與邁萪科技共同開發出具有競爭優勢且符合市場需求的散熱產品。
原始新聞來源 英特爾攜手邁萪持續鑽研SuperFluid先進冷卻技術 臺灣郵報.
這篇文章 英特爾攜手邁萪持續鑽研SuperFluid先進冷卻技術 最早出現於 很角色時報。