5041
據(jù)最新消息披露，包括AMD、博通(Broadcom)、思科(Cisco)、Google、惠普(Hewlett Packard Enterprise，HPE)、英特爾(Intel)、Meta和微軟(Microsoft)在內(nèi)的八家公司宣告，他們已經(jīng)為人工智能數(shù)據(jù)中心的網(wǎng)絡制定了新的互聯(lián)技術UALink（Ultra Accelerator Link）。通過為人工智能加速器之間的通信建立一個開放標準，以打破市場領導者 Nvidia的壟斷。
眾所周知，英偉達是人工智能芯片市場最大的參與者，他們在GPU上擁有了絕對領先的份額。但其實除此以外，英偉達還擁有一系列技術，可用于在多個 GPU 和系統(tǒng)上擴展工作負載。其中包括其片上和封裝互連、用于服務器或 pod 中 GPU 到 GPU 通信的 NVLink、用于擴展 pod 之外的 Infiniband 以及用于連接到更廣泛基礎設施的以太網(wǎng)。
現(xiàn)在，該行業(yè)的其他公司正試圖用開放標準進行反擊，以爭奪這些細分市場。去年，我們看到了 Ultra Ethernet，它使用增強型以太網(wǎng)旨在取代 Nvidia 的 InfiniBand 高性能互連，后者已迅速成為連接 GPU 加速節(jié)點的事實標準，并且獲得了豐厚的利潤。
今年，我們將獲得 Ultra Accelerator Link 或 UALink ，一項旨在取代 Nvidia 的 NVLink 協(xié)議和 NVLink Switch（有時稱為 NVSwitch）內(nèi)存結構新標準。在具體介紹UALink 之前，我們先對Nvlink進行介紹。
英偉達的隱形護城河
過去，我們看到了很多有關英偉達GPU和CUDA護城河的介紹。誠然，經(jīng)過多年的投入，他們已經(jīng)建立起了難以逾越的優(yōu)勢。但除此以外，如上所述，英偉達還有很多隱形護城河，NVLink就是其中的一個，一個為GPU到GPU互聯(lián)提供高速連接的技術。
在摩爾定律逐漸失效，但對算力要求越來越高的當下，這種互聯(lián)顯得尤為必要。
按照英偉達在官方網(wǎng)站中表示，NVLink 是全球首創(chuàng)的高速GPU 互連技術，為多GPU 系統(tǒng)提供另一種選擇，與傳統(tǒng)的PCI-E 解決方案相比，速度方面擁有顯著提升。使用NVLink 連接兩張NVIDIA GPU，即可彈性調(diào)整記憶體與效能，滿足專業(yè)視覺運算最高工作負載的需求。
相關資料顯示，NVLink 最初是一種將 Nvidia GPU 卡上的內(nèi)存組合在一起的方法，最終 Nvidia Research 實現(xiàn)了一個交換機來驅動這些端口，允許 Nvidia 以杠鈴拓撲（barbell topology ）連接兩個以上的 GPU，或以十字交叉方形拓撲（crisscrossed square topology）連接四個 GPU，這種拓撲幾十年來通常用于創(chuàng)建基于 CPU 的雙插槽和四插槽服務器。
幾年前，AI 系統(tǒng)需要八個或十六個 GPU 共享內(nèi)存，以簡化編程，并使這些 GPU 能夠以內(nèi)存速度（而不是網(wǎng)絡速度）訪問數(shù)據(jù)集。因此，實驗室中的 NVSwitch 于 2018 年在基于“Volta”V100 GPU 加速器的 DGX-2 平臺上迅速商業(yè)化。
目前，NVLink可在 GPU 之間以每秒 1.8 TB 的速度傳輸數(shù)據(jù)。此外，還有一個 NVLink 機架級交換機，能夠在無阻塞計算結構中支持多達 576 個完全連接的 GPU。通過 NVLink 連接的 GPU 稱為“pod”，表示它們有自己的數(shù)據(jù)和計算域。
其實除了Nvlink以外，還有兩種連接GPU的方法，分別是PCI總線和Server-to-Server互聯(lián)。據(jù)了解，標準服務器通?？梢栽?PCI 總線上支持 4-8 個 GPU。通過使用GigaIO FabreX 內(nèi)存結構等技術，可以將這個數(shù)字增加到 32 個。
除此以外，以太網(wǎng)或 InfiniBand可以連接包含 GPU 的服務器。這種連接級別通常稱為橫向擴展，其中較快的多 GPU 域通過較慢的網(wǎng)絡連接以形成大型計算網(wǎng)絡。
其實自從比特開始在機器之間移動以來，以太網(wǎng)一直是計算機網(wǎng)絡的主力。最近，通過引入超級以太網(wǎng)聯(lián)盟，該規(guī)范已被推動以提供高性能。事實上，英特爾已經(jīng)在以太網(wǎng)上插上了互連旗幟，因為英特爾 Gaudi -2 AI 處理器在芯片上擁有 24 個 100 千兆以太網(wǎng)連接。
不過，Nvidia 沒有加入超級以太網(wǎng)聯(lián)盟，因為他們在 2019 年 3 月收購 Mellanox 后，基本上獨占了高性能 InfiniBand 互連市場。超級以太網(wǎng)聯(lián)盟旨在成為其他所有人的“InfiniBand”。值得一提的是，英特爾曾經(jīng)高舉 InfiniBand 大旗。
因此在這種情況下，對于其他人來說，除了用于連接 MI300A APU 的 AMD Infinity Fabric 之外，沒有其他選擇。與 InfiniBand/以太網(wǎng)的情況類似，需要某種“超級”競爭對手聯(lián)盟來填補非 Nvidia 的“pod 空缺”。而這正是UALink推出的重要原因。
什么是UALink？
超級加速器鏈（Ultra Accelerator Link，UALink）同樣是一種可提高新一代AI/ML集群性能的高速加速器互連技術。八家發(fā)起廠商（和超級以太網(wǎng)聯(lián)盟一樣，我們也沒有在UAlink聯(lián)盟中看到英偉達的身影）也成立了一個開放行業(yè)標準機構來制定相關技術規(guī)范，以促進新使用模式所需的突破性性能，同時支持數(shù)據(jù)中心加速器用開放生態(tài)系統(tǒng)的發(fā)展。
在他們看來，發(fā)起這個標準很有必要。因為隨著AI計算需求的增長，擁有穩(wěn)健、低延遲且可高效縱向擴展的網(wǎng)絡，從而輕松將計算資源添加到單個實例中至關重要。而針對縱向擴展功能制定開放的行業(yè)標準規(guī)范，有助于為AI工作負載創(chuàng)建開放的高性能環(huán)境，從而提供盡可能高的性能。
正是由于這個原因，UALink和行業(yè)規(guī)范對于新一代AI數(shù)據(jù)中心用AI和機器學習、HPC和云應用程序的接口標準化及其實現(xiàn)至關重要。該工作組將制定相應的規(guī)范來界定AI計算容器組中加速器與交換機之間進行縱向擴展通信所需的高速低延遲互連。
從相關資料可以看到，Ultra Accelerator Link 聯(lián)盟的核心于去年 12 月就已經(jīng)建立，當時 CPU 和 GPU 制造商 AMD 和 PCI-Express 交換機制造商博通表示，博通未來的 PCI-Express 交換機將支持 xGMI 和 Infinity Fabric 協(xié)議，用于將其 Instinct GPU 內(nèi)存相互連接，以及使用 CPU NUMA 鏈接的加載/存儲內(nèi)存語義將其內(nèi)存連接到 CPU 主機的內(nèi)存。相關消息顯示，這將是未來的“Atlas 4”交換機，它將遵循 PCI-Express 7.0 規(guī)范，并于 2025 年上市。博通數(shù)據(jù)中心解決方案集團副總裁兼總經(jīng)理 Jas Tremblay 證實，這項工作仍在進行中，但不要妄下結論。換而言之，我們不要以為 PCI-Express 是唯一的 UALink 傳輸，也不要以為 xGMI 是唯一的協(xié)議。
AMD 為 UALink 項目貢獻了范圍更廣的 Infinity Fabric 共享內(nèi)存協(xié)議以及功能更有限且特定于 GPU 的 xGMI，而所有其他參與者都同意使用 Infinity Fabric 作為加速器互連的標準協(xié)議。英特爾高級副總裁兼網(wǎng)絡和邊緣事業(yè)部總經(jīng)理 Sachin Katti 表示，由 AMD、博通、思科系統(tǒng)、谷歌、惠普企業(yè)、英特爾、Meta Platforms 和微軟組成的 Ultra Accelerator Link“推動者小組”正在考慮使用以太網(wǎng)第 1 層傳輸層，并在其上采用 Infinity Fabric，以便將 GPU 內(nèi)存粘合到類似于 CPU 上的 NUMA 的巨大共享空間中。
我們分享了如何使用以太網(wǎng)將 Pod 鏈接到更大的集群：
如thenextplatform所說，沒人期望將來自多個供應商的 GPU 連接到一個機箱內(nèi)，甚至可能是一個機架或多個機架中的一個Pod內(nèi)。但 UALink 聯(lián)盟成員確實相信，系統(tǒng)制造商將創(chuàng)建使用 UALink 的機器，并允許在客戶構建其艙時將來自許多參與者的加速器放入這些機器中。您可以有一個帶有 AMD GPU 的Pod，一個帶有 Intel GPU 的Pod，另一個帶有來自任意數(shù)量的其他參與者的自定義加速器Pod。它允許在互連級別實現(xiàn)服務器設計的通用性，就像 Meta Platforms 和 Microsoft 發(fā)布的開放加速器模塊 (OAM) 規(guī)范允許系統(tǒng)板上加速器插槽的通用性一樣。
總而言之，UALink 的一大優(yōu)勢是讓業(yè)內(nèi)其他所有人都有機會與 NVIDIA 保持同步。NVIDIA 現(xiàn)在有能力制造NVSwitch盒并將這些 NVSwitch 托盤放入NVIDIA DGX GB200 NVL72等產(chǎn)品中。
英特爾今年的 AI 加速器銷售額達數(shù)億美元，這可能意味著它只賣出幾萬臺加速器。AMD 今年將銷售數(shù)十億美元的 MI300X，但這仍然遠不及 NVIDIA 的 AI 規(guī)模。擁有 UALink 允許像 Broadcom 這樣的公司制造 UALink 交換機來幫助其他公司擴大規(guī)模，然后在多家公司的加速器上使用這些交換機。
我們已經(jīng)報道了 Broadcom Atlas 交換機計劃與AMD Infinity Fabric AFL Scale Up 競爭 NVIDIA NVLink 即將出現(xiàn)在 PCIe Gen7 中的 Broadcom 交換機上。我們在簡報中被告知，這些可能會實現(xiàn) UALink 的 V1.0。當然，UALink V1.0 規(guī)范尚未出臺。
他們表示，1.0版的規(guī)范將允許在AI容器組中連接不超過1,024個加速器，支持在容器組中掛載到加速器（例如GPU）的內(nèi)存之間進行直接加載和存儲。UALink發(fā)起人工作組已經(jīng)成立了UALink聯(lián)盟，預計將在2024年第三季度正式成立。1.0版規(guī)范預計將于2024年第三季度推出，并向參加超級加速器鏈(UALink)聯(lián)盟的公司開放。
CXL怎么辦？
其實在過去幾年，行業(yè)參與者已經(jīng)承諾過在 PCI-Express 結構上運行的 Compute Express Link (CXL) 協(xié)議將提供同樣的功能。例如CXLmem 子集就已經(jīng)提供了 CPU 和 GPU 之間的內(nèi)存共享嗎。
但在分析人士看來，PCI-Express 和 CXL 是更廣泛的傳輸和協(xié)議。
Katti 指出，AI 加速器模塊的內(nèi)存域比 CPU 集群的內(nèi)存域大得多，我們知道 CPU 集群的擴展范圍從 2 個到 4 個，有時到 8 個，很少到 16 個計算引擎。許多人認為，AI 加速器的 GPU 模塊可擴展到數(shù)百個計算引擎，并且需要擴展到數(shù)千個。更重要的是，與 CPU NUMA 集群不同，GPU 集群（尤其是運行 AI 工作負載的集群）對內(nèi)存延遲的容忍度更高。
為此The Next Platform表示，我們不要指望看到 UALinks 將 CPU 捆綁在一起，但沒有理由相信未來的 CXL 鏈接最終不會成為 CPU 共享內(nèi)存的標準方式——甚至可能跨越不同的架構。
這實際上是為了打破 NVLink 在互連結構內(nèi)存語義方面的壟斷。無論 Nvidia 如何使用 NVLink 和 NVSwitch，它的幾家競爭對手都需要為潛在客戶提供可靠的替代方案——無論他們是銷售 GPU 還是其他類型的加速器或整個系統(tǒng)——這些潛在客戶肯定希望為 AI 服務器節(jié)點和機架式設備提供比 Nvidia 互連更開放、更便宜的替代方案。
“當我們審視整個數(shù)據(jù)中心對 AI 系統(tǒng)的需求時，有一點非常明顯，那就是 AI 模型繼續(xù)大規(guī)模增長，”AMD 數(shù)據(jù)中心解決方案事業(yè)部總經(jīng)理 Forrest Norrod 說道?！懊總€人都可以看到，這意味著對于最先進的模型，許多加速器需要協(xié)同工作以進行推理或訓練。能夠擴展這些加速器對于推動未來大規(guī)模系統(tǒng)的效率、性能和經(jīng)濟性至關重要。擴展有幾個不同的方面，但 Ultra Accelerator Link 的所有支持者都非常強烈地感受到，行業(yè)需要一個可以快速推進的開放標準，一個允許多家公司為整個生態(tài)系統(tǒng)增加價值的開放標準。并且允許創(chuàng)新不受任何一家公司的束縛而快速進行?！?/p>
毫無疑問，AMD Forrest Norrod說的這家公司就是Nvidia，他們通過投資了InfiniBand，并創(chuàng)建了具有絕對超大網(wǎng)絡帶寬的 NVSwitch 來為 GPU 進行 NUMA 集群。當然，他們最初這樣做的是因為 PCI-Express 交換機在總帶寬方面仍然有限。
有趣的是，UALink 1.0 規(guī)范將在今年第三季度完成，屆時 Ultra Accelerator Consortium 也將加入進來，擁有知識產(chǎn)權并推動 UALink 標準的發(fā)展。今年第四季度，UALink 1.1 更新將發(fā)布，這將進一步提高規(guī)模和性能。目前尚不清楚 1.0 和 1.1 UALink 規(guī)范將支持哪些傳輸，或者哪些將支持 PCI-Express 或以太網(wǎng)傳輸。
使用 NVLink 4 端口的 NVSwitch 3 結構理論上可以在共享內(nèi)存 pod 中跨越多達 256 個 GPU，但 Nvidia 的商業(yè)產(chǎn)品僅支持 8 個 GPU。借助 NVSwitch 4 和 NVLink 5 端口，Nvidia 理論上可以支持跨越多達 576 個 GPU 的 pod，但實際上，商業(yè)支持僅在 DGX B200 NVL72 系統(tǒng)中最多 72 個 GPU 的機器上提供。
如今，許多公司都在嘗試采用標準 PCIe 交換機并構建基于 PCIe 的結構以擴展到更多加速器。業(yè)內(nèi)大公司似乎將此視為權宜之計。相反，NVIDIA 的 NVLink 更像是業(yè)內(nèi)擴展的黃金標準。
現(xiàn)在，UAlink團隊正準備發(fā)布專有 NVLink 的公開競爭對手。
所有這些都需要時間。記者在簡報會上問這是否是一個 2026 年左右的實施目標。2024 年還太早，即使它被融入到產(chǎn)品中，目前也不太可能成為 2025 年初的產(chǎn)品。如果你看看CXL或UCIe，這些標準需要很長時間才能最終成為產(chǎn)品。2026 年將是一個快速實施的時間。
對于 AMD 和英特爾等公司來說，這提供了一條復制 NVLink 和 NVSwitch 功能并與其他公司共享開發(fā)成果的途徑。像博通這樣的公司很可能是最大的贏家，因為它定位為非 NVIDIA 系統(tǒng)的連接提供商，無論是用于縱向擴展還是橫向擴展。無論是 AMD 還是英特爾獲勝，博通都在銷售連接。對于超大規(guī)模企業(yè)來說，無論誰制造端點，投資標準化結構的能力都非常有意義。
順便說一句，在 2019-2020 年期間，行業(yè)考慮將 CXL in-box 和Gen-Z作為擴展解決方案。許多當年展示 Gen-Z 的人現(xiàn)在都在 AMD 工作，就像 AMD 多年來一直在組建一支團隊，他們看到并一直在努力解決擴展挑戰(zhàn)。
希望我們能夠盡快看到 UALink 投入使用。對啦，多說一句，貌似沒有看到Marvell的身影？
下載ECAD模型
