加入星計劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴散
  • 作品版權(quán)保護
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 為什么需要GPU互聯(lián)技術(shù)?
    • GPU互聯(lián)技術(shù),百家爭鳴
    • 多機互聯(lián):InfiniBand與以太網(wǎng)絡(luò)并存
    • 互聯(lián)技術(shù)未來創(chuàng)新趨勢
    • 結(jié)語
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請入駐 產(chǎn)業(yè)圖譜

GPU性能提升1000倍背后,英偉達掀翻行業(yè)的另一把“鐮刀”

06/26 09:20
915
閱讀需 27 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

文 I 十巷,報道 I 芯潮 IC,ID I xinchaoIC

搶占AI腹地。

前幾日,英偉達市值沖破3萬億美元,將蘋果公司甩在身后的故事還沒來得及回味。英偉達市值登頂全球第一的新聞再次登上各大熱搜(發(fā)稿前,英偉達市值已出現(xiàn)較大回落)。

作為AI芯片巨頭,英偉達近年來可謂風光無限。

過去,我們看到了很多有關(guān)英偉達GPU和CUDA護城河的介紹。誠然,經(jīng)過多年的投入,他們已經(jīng)建立起了難以逾越的優(yōu)勢。但除此以外,英偉達還有很多隱形護城河,其中,互聯(lián)技術(shù)也是其在AI浪潮中取得成功過程中不可忽視的一大關(guān)鍵。

日前,黃仁勛在Computex的主題演講中,再次透露了未來幾年GPU和互連技術(shù)的路線圖;而另一邊,八大芯片巨頭抱團取暖,成立UALink推廣組意在制定行業(yè)標準,以打破市場領(lǐng)導(dǎo)者英偉達的壁壘和壟斷。

如今大模型時代來臨,隨著越來越多的加速器被集成到一起,性能損耗和帶寬瓶頸逐漸顯現(xiàn),如何高效傳輸數(shù)據(jù)成為了AI芯片互聯(lián)領(lǐng)域亟待攻克的瓶頸。

在此背景下,行業(yè)廠商加速入局,試圖搶占GPU互聯(lián)市場的新高地。

為什么需要GPU互聯(lián)技術(shù)?

長期以來,馮·諾依曼架構(gòu)面臨的一個核心挑戰(zhàn)是CPU的計算速度與內(nèi)存訪問速度之間的不匹配,尤其是與存儲設(shè)備的速度相比更是天壤之別。這就是業(yè)界著名的“內(nèi)存墻”,其不均衡的發(fā)展速度對日益增長的高性能計算形成了極大制約,成為訓(xùn)練大規(guī)模AI模型的瓶頸。

與此同時,隨著高性能存儲技術(shù)的進步,計算機組件間通信的帶寬再次成為限制性能提升的關(guān)鍵因素。從“Pascal”P100 GPU一代到“Blackwell”B100 GPU一代,八年間GPU的性能提升了1053倍。

在此趨勢下,GPU作為AI時代的核心處理器,單卡GPU算力和顯存有限,無法滿足訓(xùn)練需求。為適應(yīng)算力需求,需要聯(lián)合大量GPU甚至多臺服務(wù)器協(xié)同工作,分布式訓(xùn)練訴求快速提升。

分布式系統(tǒng)中,大模型訓(xùn)練對算力基礎(chǔ)設(shè)施的要求從單卡拓展到了集群層面,這對大規(guī)??ㄩg互聯(lián)的兼容性、傳輸效率、時延等指標提出了更高的要求。

自此,GPU互連技術(shù)開始擔任重要角色。

GPU互聯(lián)技術(shù),百家爭鳴

眾所周知,總線數(shù)據(jù)通信必備管道,是服務(wù)器主板上不同硬件互相進行數(shù)據(jù)通信的管道,對數(shù)據(jù)傳輸速度起到?jīng)Q定性作用。

目前最普及的總線協(xié)議為英特爾2001年提出的PCIe(PCI-Express)協(xié)議,PCIe主要用于連接CPU與其他高速設(shè)備如GPU、SSD、網(wǎng)卡、顯卡等。2003年P(guān)CIe1.0版本發(fā)布,后續(xù)大致每過三年會更新一代,目前已經(jīng)更新到6.0版本,傳輸速率高達64GT/s,16通道的帶寬達到256GB/s,性能和可擴展性不斷提高。

AIGC的發(fā)展極大刺激算力需求的增加,GPU多卡組合成為趨勢。GPU互聯(lián)的帶寬通常需要在數(shù)百GB/S以上,PCIe的數(shù)據(jù)傳輸速率成為瓶頸,且PCIe鏈路接口的串并轉(zhuǎn)換會產(chǎn)生較大延時,影響GPU并行計算的效率和性能。

同時,由于PCIe總線樹形拓撲和端到端傳輸方式限制了連接數(shù)量和速度,GPU發(fā)出的信號需要先傳遞到PCIe Switch來拓展,PCIe Switch涉及到數(shù)據(jù)的處理又會造成額外的網(wǎng)絡(luò)延時,此外PCIe總線與存儲器地址分離,每次訪問內(nèi)存會加重網(wǎng)絡(luò)延遲。

因此,PCIe的傳輸速率和網(wǎng)絡(luò)延遲無法滿足需求,限制了系統(tǒng)性能。

在市場需求和技術(shù)驅(qū)動下,GPUDirect/NVLink/Infinity Fabric/高速以太網(wǎng)/InfiniBand等GPU互聯(lián)技術(shù)爭相推出,“百家爭鳴”時代開啟。

GPUDirect

在這個過程中,英偉達率先推出了能夠提升GPU通信性能的技術(shù)——GPUDirect,使GPU可以通過PCIe直接訪問目標GPU的顯存,可實現(xiàn)GPU與其他設(shè)備之間直接通信和數(shù)據(jù)傳輸?shù)募夹g(shù),大大降低了數(shù)據(jù)交換的延遲。

傳統(tǒng)上,當數(shù)據(jù)需要在GPU和另一個設(shè)備之間傳輸時,數(shù)據(jù)必須通過CPU,從而導(dǎo)致潛在的瓶頸并增加延遲。使用GPUDirect,網(wǎng)絡(luò)適配器和存儲驅(qū)動器可以直接讀寫GPU內(nèi)存,減少不必要的內(nèi)存消耗,減少CPU開銷并降低延遲,從而顯著提高性能。GPUDirect技術(shù)包括GPUDirect Storage、GPUDirect RDMA、GPUDirect P2P和GPUDirect 視頻。

但受限于PCIe總線協(xié)議以及拓撲結(jié)構(gòu)的一些限制,無法做到更高的帶寬。此后,英偉達提出了NVLink總線協(xié)議。

NVLink成為主流

過去,我們看到了很多有關(guān)英偉達GPU和CUDA護城河的介紹。誠然,經(jīng)過多年的投入,他們已經(jīng)建立起了難以逾越的優(yōu)勢。但除此以外,英偉達還有很多隱形護城河,NVLink就是其中之一,一個為GPU到GPU互聯(lián)提供高速連接的技術(shù)。

NVLink是一種英偉達提出的高速GPU互聯(lián)協(xié)議,用于連接多個GPU之間或連接GPU與其他設(shè)備(如CPU、內(nèi)存等)之間的通信。它允許GPU之間以點對點方式進行通信,具有比傳統(tǒng)的 PCIe 總線更高的帶寬和更低的延遲,為多GPU系統(tǒng)提供更高的性能和效率。

對比傳統(tǒng)PCIe總線協(xié)議,NVLink主要在三個方面做出較大改變:

1)支持網(wǎng)狀拓撲目,解決通道有限問題;

2)統(tǒng)一內(nèi)存,允許GPU共享公共內(nèi)存池,減少GPU之間復(fù)制數(shù)據(jù)的需要,從而提高效率;

3)直接內(nèi)存訪問,不需要CPU參與,GPU可直接讀取彼此的內(nèi)存,從而降低網(wǎng)絡(luò)延遲。

英偉達官方表示,NVLink是全球首創(chuàng)的高速GPU互連技術(shù)。作為一種總線及其通信協(xié)議,NVLink采用點對點結(jié)構(gòu)、串列傳輸,用于連接GPU與支持NVLink技術(shù)的CPU,在內(nèi)存墻無法突破的情況下,最大化提升CPU和GPU之間通信的效率,也可用于多個英偉達GPU之間的高帶寬互連。使用NVLink連接兩張NVIDIA GPU,即可彈性調(diào)整記憶體與效能,滿足專業(yè)視覺運算最高工作負載的需求。

自2014年開始,英偉達在其GPU中引入了NVLink互聯(lián)技術(shù)。

彼時,為帶寬不足而發(fā)愁的英偉達,與當時坐擁更高帶寬POWER CPU的IBM一拍而合,合作開發(fā)了第一代NVLink。

回顧NVLink技術(shù)的發(fā)展歷程:

2014年,NVLink 1.0發(fā)布并在P100 GPU芯片之間實現(xiàn),兩個GPU之間有四個NVLink,每個鏈路由八個通道組成,每個通道的速度為20Gb/s,系統(tǒng)整體雙向帶寬為160GB/s,是PCIe3 x16的五倍,這使得數(shù)據(jù)在CPU內(nèi)存與GPU顯存之間的移動速度得到了大幅提升,從而讓GPU加速的應(yīng)用能夠大幅提升運行速度。

伴隨著P100、V100等計算卡的推出,NVLink迎來了自己的高速發(fā)展。

2017年,英偉達推出了第二代NVLink,兩個V100 GPU芯片之間通過六個NVLink 2.0連接,每個鏈路也是由八個通道組成,每個通道的速度提升至25Gb/s,從而實現(xiàn)300GB/s的雙向系統(tǒng)帶寬,幾乎是NVLink1.0的兩倍。

同時,為了實現(xiàn)八個GPU之間的完全互連,解決GPU之間通訊不均衡問題,英偉達還引入了NVSwitch技術(shù)。

NVSwitch是英偉達在2018年發(fā)布的一項技術(shù),旨在解決單服務(wù)器中多個GPU之間的全連接問題。NVSwitch允許單個服務(wù)器節(jié)點中多達16個GPU實現(xiàn)全互聯(lián),這意味著每個GPU都可以與其他GPU直接通信,無需通過CPU或其他中介。

NVSwitch1.0有18個端口,每個端口的帶寬為50GB/s,總帶寬為900GB/s。每個NVSwitch保留兩個用于連接CPU的端口。通過使用6個NVSwitch,可以在8個GPU V100芯片之間建立一個全連接的網(wǎng)絡(luò)。

2020年,推出NVLink 3.0技術(shù)。它通過12個NVLink連接連接兩個GPU A100芯片,每個鏈路由四個通道組成。每個通道以50Gb/s的速度運行,從而產(chǎn)生600GB/s的雙向系統(tǒng)帶寬,是NVLink2.0的兩倍。隨著NVLink數(shù)量的增加,NVSwitch上的端口數(shù)量也增加到36個,每個端口的運行速度為50GB/s。

2022年,NVLink技術(shù)升級到第四代,允許兩個GPU H100芯片通過18條NVLink鏈路互連。每個鏈路由2個通道組成,每個通道支持100Gb/s(PAM4)的速度,從而使雙向總帶寬增加到900GB/s。NVSwitch也升級到了第三代,每個NVSwitch支持64個端口,每個端口的運行速度為 50GB/s。

值得一提的是,在第四代NVLink發(fā)布時,英偉達正式將其稱為NVLink-C2C ,此時NVLink已經(jīng)升級為板級互連技術(shù),它能夠在單個封裝中將兩個處理器連接成一塊超級芯片。

2024年,隨著英偉達全新Blackwell架構(gòu)的發(fā)布,NVLink 5.0也隨之而來。

NVLink 5.0以100GB/s的速度在處理器之間移動數(shù)據(jù)。每個GPU有18個NVLink連接,Blackwell GPU將為其他GPU或Hopper CPU提供每秒1.8TB的總帶寬,這是NVLink 4.0帶寬的兩倍,是行業(yè)標準PCIe Gen5總線帶寬的14倍。NVSwitch也升級到了第四代,每個NVSwitch支持144個NVLink 端口,無阻塞交換容量為14.4TB/s。

從上圖可以看到,每一代NVLink的更新,其每個GPU的互聯(lián)帶寬都是在不斷的提升,其中NVLink之間能夠互聯(lián)的GPU數(shù),也從第一代的4路到第四代/第五代的18路。每個NVLink鏈路的速度也由第一代的20Gb/s提升至目前的1800Gb/s。

此外,盡管擁有極高的帶寬,NVLink卻在每比特數(shù)據(jù)的傳輸上比PCIe節(jié)能得多。

NVLink和NVSwitch這兩項技術(shù)的引入,為GPU集群和深度學(xué)習系統(tǒng)等應(yīng)用場景帶來了更高的通信帶寬和更低的延遲,從而提升了系統(tǒng)的整體性能和效率。

隨著下一代AI算法等先進計算的需求不斷增長,可以期待NVLink的功能進一步增強。無論是帶寬的增加還是促進GPU之間更好合作的新功能,NVLink或其后繼者無疑仍將是滿足未來計算需求的核心。

可見,當競爭對手還在追趕英偉達GPU性能時,英偉達已經(jīng)在發(fā)力整個數(shù)據(jù)中心的構(gòu)架層創(chuàng)新,通過提供更快的芯片互聯(lián),更強的算力調(diào)度能力,將GPU打包成綜合性能無人能敵的數(shù)據(jù)工廠,交付給全世界。

AMD加碼Infinity Fabric

AMD也推出了與英偉達NVLink相似的Infinity Fabric技術(shù)。

Infinity Fabric由兩部分組成:數(shù)據(jù)布線(Data Fabric)和控制布線(Control Fabric),數(shù)據(jù)布線用于處理器內(nèi)部和處理器之間的數(shù)據(jù)傳輸;控制布線則負責處理器的功耗、時鐘和安全性等方面的管理,該技術(shù)支持芯片間、芯片對芯片以及節(jié)點對節(jié)點的數(shù)據(jù)傳輸。

Infinity Fabric的主要特點包括:

高效率:Infinity Fabric設(shè)計用于提供高效率的數(shù)據(jù)傳輸,支持多個設(shè)備之間的高速通信;

模塊化:Infinity Fabric支持AMD的Chiplet架構(gòu),允許不同功能的芯片模塊通過高速互連進行組合;

內(nèi)存共享:Infinity Fabric支持CPU和GPU之間的內(nèi)存共享,有助于提高異構(gòu)計算效率;

擴展性:Infinity Fabric的設(shè)計允許它隨著技術(shù)進步和需求增長而擴展。

Infinity Fabric是AMD在其“Zen微架構(gòu)”中引入的一個關(guān)鍵特性,旨在提高整體系統(tǒng)性能,特別是在多核心處理器和數(shù)據(jù)中心環(huán)境中。

據(jù)悉,AMD最新的AI加速器Instinct MI300X平臺,就是通過第四代Infinity Fabric鏈路將8個完全連接的MI300X GPU OAM模塊集成到行業(yè)標準OCP設(shè)計中,為低延遲AI處理提供高達1.5TB HBM3容量。第四代Infinity Fabric支持每通道高達32Gbps,每鏈路產(chǎn)生128GB/s的雙向帶寬。

不同于英偉達NVLink僅限于內(nèi)部使用,AMD已經(jīng)開始向合作伙伴開放其Infinity Fabric生態(tài)系統(tǒng),完善生態(tài)布局。

芯片巨頭組團,向英偉達NVLink開戰(zhàn)

盡管GPU互聯(lián)技術(shù)看上去種類多樣,但主要技術(shù)路線還是牢牢掌握在英偉達手中,業(yè)界一直期待有某種“超級”競爭對手聯(lián)盟來填補非Nvidia互聯(lián)技術(shù)或集群的空缺。

這也正是UALink推出的重要原因,掀起對標英偉達NVLink的波瀾。

文章開頭提到,AMD、博通、思科、Google、惠普、英特爾、Meta和微軟在內(nèi)的八家公司宣告,為人工智能數(shù)據(jù)中心的網(wǎng)絡(luò)制定了新的互聯(lián)技術(shù)UALink(Ultra Accelerator Link)。通過為AI加速器之間的通信建立一個開放標準,以挑戰(zhàn)英偉達在AI加速器一家獨大的地位。

據(jù)消息披露,UALink提議的第一個標準版本UALink 1.0,將連接多達1024個GPU AI加速器,組成一個計算“集群”,共同完成大規(guī)模計算任務(wù)。

根據(jù)UALink推廣組的說法,基于包括AMD的Infinity Fabric在內(nèi)的“開放標準”,UALink 1.0將允許AI加速器所附帶的內(nèi)存之間的直接加載和存儲,并且與現(xiàn)有互連規(guī)范相比,總體上將提高速度,同時降低數(shù)據(jù)傳輸延遲。

據(jù)悉,UALink將在第三季度成立一個UALink聯(lián)盟,定義AI計算艙中加速器和交換機之間擴展通信的高速、低延遲互連,以監(jiān)督UALink規(guī)范未來的發(fā)展。UALink 1.0將在同期向加入聯(lián)盟的公司提供,而具有更高帶寬的更新規(guī)范UALink 1.1,計劃在2024年第四季度推出。這些規(guī)范將支持多種傳輸,包括PCI-Express和以太網(wǎng)。

UALink聯(lián)盟旨在創(chuàng)建一個開放的行業(yè)標準,允許多家公司為整個生態(tài)系統(tǒng)增加價值,從而避免技術(shù)壟斷。

該技術(shù)的潛在優(yōu)勢在于讓業(yè)內(nèi)所有人都有機會與英偉達保持同步,其不僅適用于大型企業(yè),也為行業(yè)中每個人打開了一扇門,讓他們不僅在規(guī)模上,而且在創(chuàng)新方面都能跟上英偉達的步伐。

多機互聯(lián):InfiniBand與以太網(wǎng)絡(luò)并存

此外,在分布式系統(tǒng)中,根據(jù)連接層級的不同可以分為單卡、多卡、多機互聯(lián),在大規(guī)模計算中,單機多卡場景下多使用GPU Diect、NVLink等高帶寬通信網(wǎng)絡(luò)技術(shù),分布式場景下的多機之間的連接(即服務(wù)器互聯(lián))通常采用RDMA網(wǎng)絡(luò)。

隨著大數(shù)據(jù)分析、AI計算等應(yīng)用對算力需求巨大,上面提到的單機形態(tài)已經(jīng)逐漸不能滿足用戶需求,多機多卡的計算成為常態(tài),多機間的通信是影響分布式訓(xùn)練的一個重要指標。

當前業(yè)界常提到的多機之間GPU卡的通信技術(shù),主要有RDMA、GPU Direct RDMA和InfiniBand等技術(shù)。

RDMA是一種繞過遠程主機而直接訪問其內(nèi)存中數(shù)據(jù)的技術(shù),解決網(wǎng)絡(luò)傳輸中數(shù)據(jù)處理延遲而產(chǎn)生的一種遠端內(nèi)存直接訪問技術(shù)。

簡單理解,RDMA就像一個去掉中間商的技術(shù),讓數(shù)據(jù)能夠快速獲取。不再在操作系統(tǒng)、CPU等環(huán)節(jié)浪費時間。

目前RDMA有三種不同的技術(shù)實現(xiàn)方式:Infiniband、RoCE、iWARP,后兩者是基于以太網(wǎng)的技術(shù)。

長期以來,以太網(wǎng)一直是計算機網(wǎng)絡(luò)的主力,例如英特爾的Gaudi系列AI處理器在芯片上集成了幾十個100Gb以太網(wǎng)連接;相比之下,英偉達通過收購Mellanox獨占了高性能InfiniBand互連市場。

InfiniBand是一種開放標準的網(wǎng)絡(luò)互連技術(shù),具有高帶寬、低延遲、高可靠性的特點,在英偉達的AI工廠和超級電腦中扮演著至關(guān)重要的角色。

InfiniBand在人工智能等數(shù)據(jù)密集型任務(wù)中通常優(yōu)于以太網(wǎng)。據(jù)Dell'Oro估計,約90%的AI部署都是使用的InfiniBand,而不是以太網(wǎng)。這些部署將英偉達的網(wǎng)絡(luò)收入推至每年100億美元。

英特爾,押注以太網(wǎng)

英特爾的Gaudi AI芯片則一直沿用傳統(tǒng)的以太網(wǎng)互聯(lián)技術(shù)。

據(jù)了解,Gaudi 2每個芯片使用了24個100Gb以太網(wǎng)鏈路;Gaudi 3將這些鏈路的帶寬增加了一倍,使用了24個200Gbps以太網(wǎng)RDMA NIC,使芯片的外部以太網(wǎng)I/O總帶寬達到8.4TB/秒。

前不久,英特爾還宣布正在開發(fā)一款用于超以太網(wǎng)聯(lián)盟(UEC)兼容網(wǎng)絡(luò)的AI NIC ASIC以及一款A(yù)I NIC小芯片,這些創(chuàng)新的AI高速互聯(lián)技術(shù)將用于其未來的XPU和Gaudi 3處理器。這些創(chuàng)新旨在革新可大規(guī)??v向和橫向擴展的AI高速互聯(lián)技術(shù)。

超以太網(wǎng)聯(lián)盟(UCE),是一個由英特爾、AMD、HPE、Arista、Broadcom、思科、Meta和微軟為打破英偉達壟斷而共同創(chuàng)建的組織。UCE認為,通過調(diào)整以太網(wǎng)的架構(gòu),可以讓以下一代高速太網(wǎng)的性能像InfiniBand網(wǎng)絡(luò)一樣好,并更具成本與開放性優(yōu)勢,從而讓更多的企業(yè)加入進來。

一直以來,英特爾都希望通過采用純以太網(wǎng)交換機來贏得那些不想投資InfiniBand等專有互連技術(shù)的客戶。

雖然InfiniBand在很多情況下表現(xiàn)都不錯,但它也有缺點,比如只能在特定范圍內(nèi)使用(例如InfiniBand適合那些運行少量非常大的工作負載(例如GPT3或數(shù)字孿生)的用戶,但在更加動態(tài)的超大規(guī)模和云環(huán)境中,以太網(wǎng)通常是首選),而且成本也不低,將整個網(wǎng)絡(luò)升級到InfiniBand需要大量投資。相比之下,以太網(wǎng)因為兼容性強,成本適中,以及能夠勝任大多數(shù)工作負載,所以在網(wǎng)絡(luò)技術(shù)領(lǐng)域里一直很受歡迎,建立了一個龐大的“以太網(wǎng)生態(tài)”。

AMD也表示將重點支持以太網(wǎng),特別是超以太網(wǎng)聯(lián)盟。雖然Infinity Fabric提供了GPU之間的一致互連,但AMD正在推廣以太網(wǎng)作為其首選的GPU到GPU網(wǎng)絡(luò)。

綜合來說,高性能遠距離傳輸?shù)膽?zhàn)場里,如今僅剩InfiniBand和下一代高速以太網(wǎng)兩大陣營,雙方各有優(yōu)劣勢。

據(jù)Dell'Oro預(yù)計,在可預(yù)見的未來InfiniBand將保持在AI交換領(lǐng)域的領(lǐng)先地位,但在云和超大規(guī)模數(shù)據(jù)中心的推動下,以太網(wǎng)將取得大幅增長,預(yù)計到2027年將占據(jù)約20%的市場份額。

互聯(lián)技術(shù)未來創(chuàng)新趨勢

不可否認,上述這些互聯(lián)技術(shù)都已是目前最好的選擇。但能夠預(yù)見到是,隨著未來計算數(shù)據(jù)的爆炸式增長、神經(jīng)網(wǎng)絡(luò)復(fù)雜性不斷增加,以及AI技術(shù)的加速演進,對更高帶寬的需求還在繼續(xù)增長。

當前這些互聯(lián)技術(shù)將不可避免的存在性能瓶頸。

例如英偉達的NVLink雖然速度快,但功耗也相當高;AMD的Infinity Fabric適合于芯片內(nèi)部連接,對于芯片之間的互聯(lián)效率并不理想等。

對此,光互聯(lián)憑借高帶寬、低功耗等優(yōu)勢,幾乎成為未來AI互聯(lián)技術(shù)公認的發(fā)展方向。

在光互聯(lián)之路上,谷歌、博通、Marvell、思科以及Celestial AI、Ayar Labs、Lightmatter、Coherent、曦智科技等新老廠商都在不斷發(fā)力,相繼取得了一系列成果。

在眾多廠商的參與下,互聯(lián)技術(shù)未來將會迎來快速發(fā)展。尤其是圍繞光電共封裝和硅光子中繼層技術(shù)的光互連,正在成為AI領(lǐng)域的熱門賽道。

結(jié)語

大模型時代,算力就是生產(chǎn)力。

大模型的背后意味著巨大的計算資源,模型大小和訓(xùn)練數(shù)據(jù)大小成為決定模型能力的關(guān)鍵因素。當前,市場的主力玩家們利用數(shù)萬個GPU構(gòu)建大型人工智能集群,以訓(xùn)練LLM。

在此趨勢下,分布式通信技術(shù)正以前所未有的速度推動著人工智能的進步。

從PCIe到NVLink、Infinity Fabric再到InfiniBand、以太網(wǎng)和UALink,這些技術(shù)通過高帶寬、低延遲的數(shù)據(jù)傳輸,實現(xiàn)了GPU或AI服務(wù)器之間的高速互聯(lián),在提升深度學(xué)習模型的訓(xùn)練效率和計算性能方面發(fā)揮了至關(guān)重要的作用。

在AI技術(shù)的飛速發(fā)展中,互聯(lián)技術(shù)作為AI時代的橋梁,也正在經(jīng)歷前所未有的創(chuàng)新與變革。

推薦器件

更多器件
器件型號 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊 ECAD模型 風險等級 參考價格 更多信息
ATMEGA328P-MU 1 Microchip Technology Inc IC MCU 8BIT 32KB FLASH 32VQFN

ECAD模型

下載ECAD模型
$2.5 查看
ATXMEGA64D3-MH 1 Microchip Technology Inc IC MCU 8BIT 64KB FLASH 64QFN
$13.15 查看
MC9S08PA16AVTJ 1 NXP Semiconductors MICROCONTROLLER
$2.56 查看
英偉達

英偉達

NVIDIA(中國大陸譯名:英偉達,港臺譯名:輝達),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計算解決方案提供支持。

NVIDIA(中國大陸譯名:英偉達,港臺譯名:輝達),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計算解決方案提供支持。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜