為什么需要DDR5？

現(xiàn)在英特爾和 AMD 都推出了新的服務(wù)器平臺(tái)，業(yè)界堅(jiān)定地走上了向 DDR5 過(guò)渡的道路。我們已經(jīng)稍微討論了速度的提高，但這一代發(fā)生了更多變化。例如，現(xiàn)在芯片上有兩個(gè)內(nèi)存通道。此外，即使您擁有 ECC DDR5 UDIMM，它也不再與支持 RDIMM 的平臺(tái)兼容。是時(shí)候深入探討一下 DDR5 內(nèi)存為何與眾不同。

為什么 DDR5 在現(xiàn)代服務(wù)器中絕對(duì)必要：核心數(shù)量增長(zhǎng)

這在過(guò)去的十年中，服務(wù)器市場(chǎng)已經(jīng)從 12 核/插槽發(fā)展到目前的 96 核/插槽，在我們市場(chǎng)上已有的相同平臺(tái)上，128 核/插槽的速度相對(duì)較快。

過(guò)去十年，英特爾和 AMD 主流服務(wù)器核心數(shù)量增長(zhǎng)

顯而易見(jiàn)的是，服務(wù)器正在將過(guò)去位于機(jī)架中的內(nèi)容整合到單個(gè)節(jié)點(diǎn)中。隨著小芯片和 CXL 的出現(xiàn)，這種趨勢(shì)在未來(lái)將會(huì)加速。系統(tǒng)擴(kuò)展的最大挑戰(zhàn)之一是內(nèi)存帶寬。擁有更多內(nèi)核和更多 PCIe 設(shè)備固然很好，但如果系統(tǒng)的某些部分閑置等待數(shù)據(jù)，那么它們就被浪費(fèi)了。

第 1 代 DDR DDR2 DDR3 DDR4 和 DDR5 內(nèi)存帶寬

從 DDR4-3200 到 DDR5-4800 的跳躍是巨大的。

由于內(nèi)存擴(kuò)展速度慢于核心增長(zhǎng)速度，服務(wù)器供應(yīng)商設(shè)計(jì)了一個(gè)簡(jiǎn)單的解決方案，擴(kuò)展內(nèi)存通道數(shù)量并使用更快的內(nèi)存。

Intel 和 AMD 主流服務(wù)器過(guò)去十年的理論帶寬增長(zhǎng)

增加內(nèi)存通道，同時(shí)提高內(nèi)存速度意味著隨著時(shí)間的推移，該行業(yè)至少能夠?yàn)閮?nèi)核提供類似數(shù)量的帶寬。請(qǐng)注意，我們?cè)谶@里使用的是最大內(nèi)核數(shù)，但如果保持內(nèi)核數(shù)競(jìng)爭(zhēng)，例如 32 個(gè)內(nèi)核，則每個(gè)內(nèi)核的內(nèi)存帶寬會(huì)增加。

Intel 和 AMD 過(guò)去十年每核 2P 服務(wù)器每核最大內(nèi)存帶寬

有了這個(gè)，很多人想知道為什么人們談?wù)撓到y(tǒng)內(nèi)存帶寬受限。等式還有另一面：每個(gè)內(nèi)核的性能。在過(guò)去十年中，高核心數(shù) SKU 的每核心性能大約提高了 2-3 倍。AMD EPYC Bergamo，我們預(yù)計(jì)在 Zen 3 Milan 內(nèi)核的性能比完整的 Zen 4 Genoa 內(nèi)核更好，但話又說(shuō)回來(lái)，Bergamo 的內(nèi)核多了 33%。

英特爾和 AMD 主流服務(wù)器過(guò)去十年的核心數(shù)量增長(zhǎng)與 SPEC 標(biāo)注

在這種背景下，內(nèi)存帶寬方面在過(guò)去 10 年中僅擴(kuò)展了 2.6 倍，現(xiàn)在我們有了 DDR5。如果不是 DDR5，那將不到一倍。

從DDR3 1866 到 DDR5 4800的內(nèi)存帶寬增長(zhǎng)

在系統(tǒng)層面，我們還展示了Intel Xeon 和 AMD EPYC 十年來(lái)的 PCIe 通道和帶寬增長(zhǎng)。

英特爾和 AMD PCIe 通道每插槽吞吐量增長(zhǎng)過(guò)去十年的增長(zhǎng)

高速 RDMA NIC 等 PCIe 設(shè)備對(duì)內(nèi)存子系統(tǒng)施加的壓力超出了內(nèi)核單獨(dú)執(zhí)行的范圍。同樣，英特爾的 Sapphire Rapdis Xeon 板載 QAT 加速器以及其他加速器，速度高達(dá) 800Gbps。這些加速器可以訪問(wèn)內(nèi)存，因此可以對(duì)內(nèi)存子系統(tǒng)施加壓力。我們甚至看到像 DPU 這樣的加速器使用多個(gè) DDR5 通道。

Marvell 的Octeon 10

因此，雖然每個(gè)內(nèi)核的內(nèi)存帶寬作為一個(gè)指標(biāo)似乎已經(jīng)通過(guò)增加內(nèi)存通道和遷移到 DDR5 來(lái)滿足，但每個(gè)內(nèi)核的性能提高正在對(duì)內(nèi)存子系統(tǒng)造成壓力。

可以肯定的是，具有八個(gè) DDR4-3200 通道的現(xiàn)代 CPU 將非常具有挑戰(zhàn)性。因此，這似乎是一個(gè)很好的機(jī)會(huì)來(lái)解釋更多關(guān)于 DDR5 過(guò)渡以及 DDR5 內(nèi)存的不同之處。

接下來(lái)，讓我們?cè)诓榭?DDR5 UDIMM 和 DDR5 RDIMM 之間的模塊差異時(shí)，了解為什么服務(wù)器不再支持無(wú)緩沖 ECC 內(nèi)存。

1.1V、5V、12V 以及為什么服務(wù)器不再支持無(wú)緩沖 ECC 內(nèi)存？

這是許多人仍然不知道的。在 DDR3 和 DDR4 代中，通?？梢栽诜?wù)器中使用無(wú)緩沖 ECC（通常是非 ECC）內(nèi)存或 RDIMM。到現(xiàn)在已不再是這樣了。為此，讓我們看一下 AMD EPYC 9004 Genoa 內(nèi)存功能幻燈片：

AMD EPYC 9004 Genoa DDR5 內(nèi)存功能

在這里我們會(huì)注意到，僅列出支持的兩種類型的內(nèi)存是 RDIMM 和 3DS RDIMM。不支持 UDIMM?？焖僬f(shuō)明一下，這張幻燈片中提到了 x72 DIMM。這些將用于一些非常具體的客戶，而不是我們大多數(shù)讀者會(huì)放入系統(tǒng)中的通用模塊，因此我們不打算在本文中介紹它們。

就英特爾而言，它在僅支持 RDIMM 而非 UDIMM 方面與 AMD 持相同觀點(diǎn)。

這樣做的關(guān)鍵原因是供電組件現(xiàn)在位于 DIMM 本身上。在服務(wù)器中，提供 12V 電源。在客戶端系統(tǒng)中，只有 5V。這被轉(zhuǎn)換為 1.1V 用于 DIMM 并由板載電源管理 IC 或 PMIC 管理。PMIC 將主板功能移至 DIMM，但這意味著我們?cè)谀K上增加了一個(gè)組件。

必須對(duì)電源子系統(tǒng)進(jìn)行許多更改才能處理 DDR5 旨在實(shí)現(xiàn)的更高時(shí)鐘速度。人們可以看到模塊的物理鍵控現(xiàn)在有所不同，以防止將錯(cuò)誤的模塊插入系統(tǒng)。在 DDR4 一代中，可以在支持 RDIMM 的服務(wù)器中使用 UDIMM，但DDR5 不再如此。

一個(gè) DIMM 兩個(gè)通道

也許 DDR5 一代最大的變化之一是通道架構(gòu)。DDR4 DIMM 具有 72 位總線。該總線可能被稱為 64+8，這意味著有 64 個(gè)數(shù)據(jù)位加上 8 個(gè) ECC 位。

使用 DDR5，現(xiàn)在有兩個(gè)通道，總共 80 位。每個(gè)通道是該通道的一半或 40 位，其中 32 位用于數(shù)據(jù)，8 位用于 ECC。通道在 DDR5 DIMM 上是分開(kāi)的，一左一右。

為了更好地利用這一點(diǎn)，新的 DDR5 DIMM 具有更長(zhǎng)的突發(fā)長(zhǎng)度 16。這允許每個(gè)通道訪問(wèn) CPU 緩存行的 64 字節(jié)信息，并且獨(dú)立執(zhí)行。反過(guò)來(lái)，這增加了內(nèi)存子系統(tǒng)的并行性，每個(gè) DIMM 在兩個(gè)通道上運(yùn)行，而不是一個(gè)。

接下來(lái)，我們將看看 DDR5 RDIMM 上的芯片，以及這一代的不同之處。

DDR5 DIMM 上的大芯片是什么？

也許最重要的特性是 DRAM 本身。在 ECC DIMM 上，我們展示了 RDIMM 和 ECC UDIMM，兩側(cè)各有五個(gè)芯片：

在類似的消費(fèi)類非 ECC UDIMM 上，這里可能只看到四個(gè)而不是五個(gè)。這些 DRAM 封裝為模塊提供內(nèi)存容量，但它們并不是唯一的組件。

在兩側(cè)的新 DDR5 DIMM 中間。在一側(cè)，您會(huì)找到 RCD 或寄存器時(shí)鐘驅(qū)動(dòng)程序。它負(fù)責(zé)為內(nèi)存模塊上的不同芯片提供時(shí)鐘分配。

這在 DDR5 DIMM 的 UDIMM 版本上不存在：

常見(jiàn)的 ECC 和非 ECC SODIMM 外形規(guī)格也沒(méi)有 RCD。

另一方面，您可能會(huì)看到 PMIC 或電源管理 IC。它負(fù)責(zé)管理設(shè)備上的電源。

DDR5 RDIMM 上還將有一個(gè) SPD 集線器，以支持組件之間的帶外通信。

它與 DIMM 兩側(cè)的兩個(gè)溫度傳感器一起使用，以提供更多傳感器信息。

我們已經(jīng)看到性能顯著提高的底板管理控制器，例如 ASPEED AST2500 到 AST2600 系列。造成這種情況的部分原因是，有了更多的傳感器，BMC 可以更加了解服務(wù)器中正在發(fā)生的事情，從而對(duì)風(fēng)扇速度做出更明智的調(diào)整。

我們的讀者可能聽(tīng)說(shuō) DDR5 RDIMM 現(xiàn)在有更多組件。希望這有助于解釋這些組件是什么。

接下來(lái)，讓我們看看 DDR5 和新的 On-Chip ECC 功能，然后進(jìn)入性能部分分析。

DDR5的片上ECC

DDR5 具有片上 ECC。這是一個(gè)經(jīng)常被誤解的。毫無(wú)疑問(wèn)，這是一個(gè)很好的步驟，但這并不意味著所有 DIMM 都具有與服務(wù)器 RDIMM 傳統(tǒng)上所具有的相同的 ECC 和 RAS 功能。

人們可以將此 ECC 視為防止 DDR5 芯片翻轉(zhuǎn)的一項(xiàng)標(biāo)準(zhǔn)功能。確保端到端數(shù)據(jù)保護(hù)的邊帶功能是服務(wù)器 RDIMM 的優(yōu)勢(shì)所在。

雖然許多人一開(kāi)始將此作為一項(xiàng)功能吹捧，但它也有實(shí)際用途。隨著 DRAM 密度的增加和時(shí)鐘速度的增加，設(shè)計(jì) DDR5 規(guī)范的人們意識(shí)到這種組合有可能導(dǎo)致更多的片上錯(cuò)誤。對(duì)于那些更熟悉閃存技術(shù)的人來(lái)說(shuō)，NAND 已經(jīng)經(jīng)歷了很多年，現(xiàn)在我們擁有更高的位密度，而且在整個(gè) SSD 中也有更多的糾錯(cuò)。不過(guò)，固有的片上 ECC 優(yōu)勢(shì)在于，以前可能未在消費(fèi)類 UDIMM 上發(fā)現(xiàn)的問(wèn)題可能會(huì)被發(fā)現(xiàn)。

除此之外，實(shí)際上在 DIMM 和主機(jī) DDR5 控制器之間發(fā)生了更多的 ECC。這是因?yàn)閷?duì)于大多數(shù) DDR5，我們從 72 位（64+8）到 80 位（兩個(gè) 32+8）通道架構(gòu)。有一些專業(yè)應(yīng)用仍將使用 72 位以節(jié)省一些成本，但這可能是例外情況而不是常態(tài)。總而言之，我們將約 11% 到 20% 的通道位用于 ECC。

為什么這很重要的實(shí)際例子

STH 的部分測(cè)試服務(wù)器需要確定我們將使用哪些工作負(fù)載。最大的挑戰(zhàn)之一是分析工作負(fù)載以確定它們將如何擴(kuò)展。例如，我們經(jīng)常在 CPU 基準(zhǔn)測(cè)試中使用工作負(fù)載，這些工作負(fù)載主要根據(jù)每個(gè)時(shí)鐘、頻率和核心數(shù)的 CPU 指令進(jìn)行擴(kuò)展。渲染工作負(fù)載通常就是一個(gè)很好的例子。其他時(shí)候，我們發(fā)現(xiàn)工作負(fù)載受內(nèi)存容量的限制很大。

在大量服務(wù)器中，內(nèi)存容量是另一大挑戰(zhàn)。DDR5 允許更大的 DIMM 尺寸，包括 128GB UDIMM。這是一個(gè)虛擬化工作負(fù)載，我們可以在其中改變核心數(shù)量，并看到當(dāng)我們用完內(nèi)存時(shí)性能提升停止。

內(nèi)存帶寬是我們發(fā)現(xiàn)的另一個(gè)限制。

這是一個(gè)很好的工作負(fù)載示例，我們?cè)谙到y(tǒng)中以如此快的速度推送數(shù)據(jù)，以至于在內(nèi)存帶寬受限后，添加內(nèi)核或什至在相同數(shù)量的內(nèi)核中增加頻率都無(wú)濟(jì)于事：

Top Bin AMD EPYC SKU 的模擬

切換到更新的平臺(tái)，我們可以立即看到 DDR5 的影響。對(duì)增加的頻率或核心數(shù)量沒(méi)有反應(yīng)的工作負(fù)載，在過(guò)渡到更新的 DDR5 平臺(tái)后突然能夠利用更多的計(jì)算資源。

這是向 DDR5 過(guò)渡為何重要的主要示例。為了以另一種方式說(shuō)明這一點(diǎn)，以下是 2022 年 11 月添加到 500 強(qiáng)名單的新系統(tǒng)：

2022 年 11 月 Top500 新系統(tǒng) CPU 內(nèi)核（按插槽）

人們很快就會(huì)注意到，部署的系統(tǒng)并未全部使用最大核心數(shù)部件。這是因?yàn)閮?nèi)存帶寬通常是 HPC 應(yīng)用程序的限制因素。我們已經(jīng)看到了許多新穎的方法，例如 Milan-X 的更大緩存到 GDDR 內(nèi)存和 HBM 內(nèi)存的共同封裝來(lái)應(yīng)對(duì)這一挑戰(zhàn)。對(duì)于通用市場(chǎng)，過(guò)渡到 DDR5 是朝著正確方向邁出的一大步。

CXL Type-3 設(shè)備和 DDR5

讓我們暫時(shí)討論一下 CXL 或 Compute Express Link。CXL 允許使用替代 CXL 協(xié)議在 PCIe Gen5 物理鏈路上進(jìn)行加載/存儲(chǔ)操作。新一代服務(wù)器支持 CXL 1.1，這是我們第一次在服務(wù)器中獲得該功能。Type-3 設(shè)備是有效的內(nèi)存擴(kuò)展設(shè)備。這是 Astera Labs Leo CXL 內(nèi)存擴(kuò)展設(shè)備。

Astera Labs Leo CXL 內(nèi)存擴(kuò)展卡在 STH Studio 封面中帶有 DIMM

可以看到，板上有四個(gè) DDR5 DIMM 插槽，板底部有一個(gè) PCIe Gen5 x16 連接器。在服務(wù)器中使用此設(shè)備產(chǎn)生的帶寬大致相當(dāng)于通過(guò) x16 插槽的兩個(gè) DDR5 內(nèi)存通道。延遲與通過(guò)一致的處理器到處理器鏈接訪問(wèn)內(nèi)存大致相同（例如，CPU1 訪問(wèn)連接到 CPU2 的內(nèi)存。）在系統(tǒng)中，這顯示為另一個(gè)沒(méi)有連接 CPU 內(nèi)核但連接有內(nèi)存的 NUMA 節(jié)點(diǎn)。我們將對(duì)此進(jìn)行更深入的研究。

在這一代，AMD EPYC 9004 “Genoa” 正式支持 CXL 1.1 Type-3 設(shè)備。Intel 的 Sapphire Rapids Xeons 支持所有底層協(xié)議，上面顯示的卡在 Sapphire Rapids 服務(wù)器上運(yùn)行，我們已經(jīng)看到了一段時(shí)間的演示。英特爾只是在發(fā)布時(shí)不支持 Type-3 設(shè)備。

盡管如此，最大的收獲應(yīng)該是 DDR5 不僅僅局限于 CPU 插槽旁邊的 DIMM。相反，隨著我們進(jìn)入 2023 年及以后，許多 CXL Type-3 設(shè)備都被設(shè)計(jì)為支持 DDR5 內(nèi)存。

最后的話

許多內(nèi)存供應(yīng)商提供了詳盡的營(yíng)銷材料，解釋 DDR5 的優(yōu)勢(shì)以及您應(yīng)該轉(zhuǎn)換的原因。我們則有一個(gè)簡(jiǎn)單的答案：在某些時(shí)候，您別無(wú)選擇。

AMD EPYC 9004 Genoa 和第 4 代 Intel Xeon Scalable Sapphire Rapids 部件僅支持 DDR5。如果您購(gòu)買服務(wù)器并想要新一代 x86 服務(wù)器，DDR5 是您唯一的選擇（除了僅使用板載 HBM2e 的 Xeon Max 安裝。）

總體而言，在提高每核心性能和增加核心數(shù)量之間，需要 DDR5 內(nèi)存來(lái)推動(dòng)服務(wù)器行業(yè)向前發(fā)展。