第五代英特爾至強(qiáng)，專注AI加速

第五代英特爾至強(qiáng)鉑金 8592+處理器憑借更優(yōu)化的SoC，三倍更大緩存和更快內(nèi)存，在運(yùn)行諸多工作負(fù)載時(shí)具備與眾不同的優(yōu)勢(shì)，尤其是AI工作負(fù)載。

優(yōu)點(diǎn)：

• 主流型號(hào)上擁有額外的八個(gè)核心
• 高端型號(hào)上的三級(jí)緩存容量增大了
• 三倍在AI工作負(fù)載中具備領(lǐng)先性能
• 在多線程和輕線程工作負(fù)載中均有出色表現(xiàn)
• 支持英特爾AMX、AVX-512、VNNI和BFloat 16
• 支持CXL Type 3存儲(chǔ)設(shè)備

英特爾數(shù)據(jù)中心產(chǎn)品始終具備與眾不同的優(yōu)勢(shì)。于去年12月最新推出的第五代英特爾至強(qiáng)可擴(kuò)展處理器（以下簡(jiǎn)稱第五代至強(qiáng)），在一眾基準(zhǔn)測(cè)試中，展現(xiàn)出強(qiáng)大性能提升。而且，這款最新產(chǎn)品的發(fā)布也展示出英特爾正在持續(xù)推動(dòng)自身產(chǎn)品路線圖發(fā)展并踐行對(duì)客戶的承諾。

第五代至強(qiáng)的旗艦型號(hào)上比上一代增加了四個(gè)核心，為雙插槽服務(wù)器提供高達(dá)128核心和256線程。其三級(jí)緩存亦增加三倍，并為高性能型號(hào)配備了更快的DDR5-5600。結(jié)合其它有針對(duì)性的改進(jìn)，包括對(duì)芯片架構(gòu)的更新設(shè)計(jì)，相較上一代產(chǎn)品，第五代至強(qiáng)可將AI推理性能提升42%，可在進(jìn)行通用計(jì)算時(shí)將整體性能提升高達(dá)21%，并在一系列客戶工作負(fù)載中將每瓦性能提升高達(dá)36%。

第五代至強(qiáng)采用Intel 7制程工藝，是該節(jié)點(diǎn)的升級(jí)版本，并使用了增強(qiáng)版的Raptor Cove微架構(gòu)。第五代至強(qiáng)擁有許多創(chuàng)新和設(shè)計(jì)升級(jí)，遠(yuǎn)超我們對(duì)新一代產(chǎn)品的期待。其中，英特爾從第四代至強(qiáng)芯片的復(fù)雜四芯粒設(shè)計(jì)，轉(zhuǎn)變?yōu)楦?jiǎn)單的雙die設(shè)計(jì)，總共包含610億個(gè)晶體管，新的die提供了更一致的延遲性。盡管經(jīng)過重新設(shè)計(jì)，第五代至強(qiáng)仍然與現(xiàn)有的四代至強(qiáng)Eagle Stream平臺(tái)的兼容性，從而縮短了驗(yàn)證時(shí)間，使新的處理器能夠快速在市場(chǎng)上應(yīng)用。

第五代至強(qiáng)在整體核心數(shù)量上雖然并未創(chuàng)造業(yè)界紀(jì)錄，但英特爾的芯片仍能滿足大部分市場(chǎng)的需求，而且得益于其內(nèi)置加速器和在AI工作負(fù)載中的性能表現(xiàn)，英特爾能夠以兼具性能和能效的優(yōu)勢(shì)組合贏得更多客戶青睞。

第五代英特爾至強(qiáng)處理器規(guī)格和售價(jià)

第五代英特爾至強(qiáng)處理器系列包括32個(gè)SKU，主要分為六類，包括為云、網(wǎng)絡(luò)、存儲(chǔ)、長(zhǎng)使用壽命、單路通用及液冷通用。該系列也被劃分為鉑金、金、銀和銅四個(gè)子等級(jí)。值得注意的是，第五代英特爾至強(qiáng)可擴(kuò)展處理器最多支持雙路，沒有八插槽版本。但同時(shí)，英特爾還提供了不同級(jí)別的內(nèi)存支持，八通道速度從DDR5-4400擴(kuò)展到DDR5-5600。

英特爾為每種類型的工作負(fù)載都設(shè)置了不同的SKU，第五代至強(qiáng)的32個(gè)SKU較之有52個(gè)SKU的上一代至強(qiáng)，在產(chǎn)品組合上已經(jīng)精簡(jiǎn)了很多。

對(duì)于第五代至強(qiáng)，英特爾繼續(xù)推動(dòng)加速技術(shù)的發(fā)展，這些技術(shù)可以直接購(gòu)買或通過“即用即付”的模式進(jìn)行購(gòu)買。芯片上專門設(shè)計(jì)的幾大加速器區(qū)域旨在大幅提升多種工作的性能，例如壓縮、加密、數(shù)據(jù)移動(dòng)和數(shù)據(jù)分析，而這些工作通常需要使用獨(dú)立的加速器才能展現(xiàn)出領(lǐng)先性能。每個(gè)芯片都可以啟用不同數(shù)量的加速器“設(shè)備”，但“+”型號(hào)的芯片默認(rèn)情況下每種類型的加速器都至少啟用一個(gè)。

第五代至強(qiáng)標(biāo)準(zhǔn)型號(hào)的TDP從125W到350W不等，但液冷通用的版本則最高可達(dá)385W。

第五代至強(qiáng)鉑金8592+擁有64核心和128線程，比60個(gè)核心的第四代至強(qiáng)8490H多了四個(gè)核心。然而，8592+比第四代通用旗艦型號(hào)8480+多了八個(gè)核心。

正如其后綴“+”所表示的，8592+激活了內(nèi)置的每一個(gè)加速器。額外付費(fèi)后，每種加速器都可以升級(jí)到四個(gè)加速處理單元，這通常由原始設(shè)備制造商提供，因此價(jià)格有所不同。

8592+的核心基頻為2.0 GHz，但可以在所有核心上提升到3.0 GHz，或在單個(gè)核心上提升到3.8 GHz。該芯片配備了320MB的L3緩存，大小是上一代產(chǎn)品的三倍多。英特爾提升三級(jí)緩存容量的決定將有利于運(yùn)行多種工作負(fù)載，但也有個(gè)前提條件。正如我們將在下文中介紹的，第五代至強(qiáng)處理器可以采用三種不同的芯片配置，只有最高端的芯片配置（40個(gè)核心及以上）才具有三倍的緩存容量。與此同時(shí)，32核及更低的型號(hào)所使用的芯片通常與上一代處理器的緩存容量相同。

至強(qiáng)處理器現(xiàn)在在1DPC（每通道一個(gè)DIMM）模式下最高支持DDR5-5600，在2DC模式下支持DDR5-4800，比上一代的DDR5-4800有所改進(jìn)。英特爾還將UPI鏈路調(diào)整為20GT/s，比以前的16 GT/s略有提高。

所有的第五代至強(qiáng)都具備以下特性：

• LGA4677插槽/ Eagle Stream平臺(tái)
• 超線程
• 八通道DDR5內(nèi)存：頂配型號(hào)運(yùn)行速度高達(dá)DDR5-5600（1DPC）和DDR5-4800（2DPC），但速度會(huì)因型號(hào)而異
• 80個(gè)PCIe 5.0通道
• 每個(gè)插槽最高6TB內(nèi)存
• 支持CXL Type 3內(nèi)存
• AMX，AVX-512，VNNI，BFLOAT 16
• UPI速度從16 GT/S提高到20 GT/S

AI工作負(fù)載

生成式AI的熱議度與日俱增，但數(shù)據(jù)中心中使用的人工智能模型多種多樣。盡管目前，我們?nèi)匀皇褂肎PU來訓(xùn)練AI大模型和運(yùn)行大多數(shù)大型生成式AI模型。然而，大多數(shù)AI推理一直在數(shù)據(jù)中心CPU上運(yùn)行，我們預(yù)計(jì)這一趨勢(shì)不僅會(huì)繼續(xù)，而且還會(huì)穩(wěn)步攀升。

AI領(lǐng)域的發(fā)展瞬息萬變，因此要對(duì)其在數(shù)據(jù)中心里的性能進(jìn)行標(biāo)準(zhǔn)化衡量始終具備挑戰(zhàn)性。而且，批處理大小和其他測(cè)試參數(shù)在實(shí)際部署中也會(huì)有所不同。因此，在這些并沒有優(yōu)化到我們?cè)趯?shí)際部署中期望的水平的時(shí)候，如下基準(zhǔn)測(cè)試僅供參考。而一些數(shù)據(jù)中心和企業(yè)會(huì)采用現(xiàn)成的AI模型進(jìn)行微調(diào)，因此，雖然該方法適用于通用性能測(cè)試，但所采用的模型等因素也會(huì)相應(yīng)不同。

顯然，英特爾啟用 AMX、AVX-512、VNNI 和 Bfloat16 等AI增強(qiáng)功能，為AI用戶奠定了堅(jiān)實(shí)的基礎(chǔ)。在TensorFlow ResNet-50測(cè)試中，第五代至強(qiáng)8592+的速度比64核的第四代霄龍9554快18%，但在AlexNet和GoogLeNet模型中，這兩款芯片的速度不相上下。令人驚訝的是，96核的第四代霄龍9654在三個(gè)TensorFlow工作負(fù)載中均排名墊底，這意味著其chiplets陣列可能無法為此類模型提供最低延遲和最佳可擴(kuò)展性。

在MLpack中，我們發(fā)現(xiàn)8592+在完成任務(wù)的速度上，比兩款用于對(duì)比的其他處理器都要快40%。三個(gè)ONNX推斷基準(zhǔn)測(cè)試也都突顯出第五代至強(qiáng)內(nèi)置加速器的優(yōu)勢(shì)。

關(guān)鍵的是，我們注意到第五代至強(qiáng)在除了GoogleNet模型外的所有工作負(fù)載中，相對(duì)于上一代60核的8490H都有了大幅度的性能提升。因此整體來看，第五代至強(qiáng)的性能表現(xiàn)出眾。而從其他一些第三方基準(zhǔn)測(cè)試中可以看出，AMX為英特爾在利用指令集的模型中提供了顯著的領(lǐng)先優(yōu)勢(shì)。正如我們?cè)谠S多基準(zhǔn)測(cè)試中看到的，更高的核心數(shù)量并不是所有類型工作負(fù)載的萬能選擇——尤其是在像AI這樣對(duì)延遲敏感的工作負(fù)載中。

第五代至強(qiáng)利用其AI加速等內(nèi)置的加速引擎，為廣泛工作負(fù)載提供了顯著優(yōu)勢(shì)。而且，第五代至強(qiáng)在包括AI工作負(fù)載在內(nèi)的多個(gè)工作負(fù)載中均具備領(lǐng)先優(yōu)勢(shì)，這也為即將在2024年推出的具備多達(dá)288核心的Sierra Forest，以及緊隨其后發(fā)布的Granite Rapids奠定了良好的基礎(chǔ)。