記憶體廠聚焦 CXL 記憶體擴充器產品,突破 AI / ML 伺服器 DRAM 硬體限制

作者 | 發布日期 2022 年 10 月 11 日 15:01 | 分類 IC 設計 , 半導體 , 記憶體 line share follow us in feedly line share
記憶體廠聚焦 CXL 記憶體擴充器產品,突破 AI / ML 伺服器 DRAM 硬體限制


TrendForce 最新伺服器報告指出,CXL(Compute Express Link)原希望整合各 xPU 性能, 最佳化 AI 與 HPC 硬體成本,突破硬體限制。CXL 支援仍以 CPU 為源頭發想,但可支援 CXL 功能的伺服器 CPU 英特爾 Sapphire Rapids 與 AMD Genoa 現階段僅支援至 CXL 1.1 規格,可先做到的產品是 CXL 記憶體擴充(CXL Memory Expander)。TrendForce 認為,各種 CXL 相關產品 CXL 記憶體擴充將成為前驅產品,產品也與 DRAM 最相關。

CXL記憶體池化功能助攻,AI與HPC可望突破硬體限,帶動伺服器整機DRAM用量

不過目前CXL 1.1對DRAM來講,僅為記憶體擴充實踐,要到CXL 2.0才會實現記憶體池化(memory pooling)。現階段而言,以雙插槽CPU伺服器整機平均RDIMM使用量約10~12條(最多16條),意即RDIMM插槽與通道數尚未全數使用,短期而言,一般computing伺服器仍可憑升級原RDIMM,僅需要AI與HPC的應用才會有CXL需求。TrendForce研判,CXL記憶體擴充器的用量對DRAM整體市場影響度有限,短期以最佳化HPC效能而產生的產品。

但現有應用,伺服器整機DRAM運行仍有閒置未使用的容量,也使資料中心業者要多支付DRAM成本。長期而言,隨著更多元化及更複雜應用,伺服器整機DRAM平均搭載容量會呈現逐年增長趨勢,但未來若實踐CXL記憶體池化情境,可使xPU記憶體資源有效運用。TrendForce認為,CXL記憶體池化功能將收斂買方採購的RDIMM模組的需求量,使後續年對年間的伺服器DRAM單機搭載容量增速趨緩。

CXL聯盟最終希望透過介面使各裝置資源有效運用,突破AI與HPC的硬體瓶頸。CXL協助下,AI與HPC發展將隨模型複雜度增加,挹注相關機種出貨量。此觀點看來,CXL會帶動伺服器整機DRAM(亦即合併RDIMM與CXL記憶體擴充器計算)平均搭載容量;但以伺服器DRAM用量年成長速度而言,則會因CXL可有效率使用整機DRAM,而使成長率趨緩。

會要大量CXL功能的買方以高階運算機種為主,因此雲端服務供應商是主要用戶。TrendForce亦觀察到部分OEM對HPC運算客戶出貨機種,也有需要大容量DRAM擴充需求,同樣將為潛在採用者。

Montage、Marvell、Microchip營收有望受CXL崛起再攀升

目前原廠開發CXL記憶體擴充器用的是DDR5,不過現階段仍受PCIe 5.0接口速度侷限,釋出速度僅略等於DDR4。未來CPU支援到PCIe 6.0或更高規格,足以使DDR5發揮完整速度。以CXL記憶體擴充器結構看,除了DRAM,需搭配一顆CXL控制器(CXL controller),廠商有Montage、Marvell與Microchip等,CXL崛起不但能直接帶動控制器供應商營收外,也不排除可能出現類似模組廠或雲端服務供應商自研模式,配套控制器與DRAM後生產CXL記憶體擴充器。

綜上所述,現階段伺服器效能停滯可望因CXL發展獲改善,有效提高DRAM的伺服器使用,免去閒置成本增加。未來CXL2.0規範可改變現有硬體瓶頸,並在記憶體池化協助下,CXL可發揮更大優勢。隨著更多元化及更複雜應用,HPC與AI等高強度運算對xPU仰賴更勝以往。記憶體池化共享下,模型設計能擺脫硬體瓶頸,持續往更複雜的架構建設。此外,CXL導入將隨著未來功能強度普及,尤其雲端業務大規模導入產業,此規範更能最佳化伺服器間溝通,因CXL建立彼此溝通的高速互連性,兩者交互有助擴展伺服器平行間運算力應用與最佳化總體擁有成本(Total Cost of Ownership,TCO)。

(首圖來源:shutterstock)