4877
作者 |??ZeR0，編輯?|??漠影
Blackwell架構大揭秘！對話英偉達技術高管+22頁技術報告解讀。
芯東西3月24日報道，當今全世界身價最高的兩位華人，一位賣鏟，一位賣水。第一名是英偉達創(chuàng)始人兼CEO黃仁勛，靠給AI淘金者們賣GPU，把英偉達推上全球市值第三的寶座；另一位是農(nóng)夫山泉創(chuàng)始人、董事長兼總經(jīng)理鐘睒睒，憑“大自然的搬運工”笑傲飲用水江湖。
當前，英偉達市值已經(jīng)穩(wěn)坐2萬億美元大關，與蘋果的市值差距縮小到0.3萬億美元。
在本周英偉達GTC大會上，黃仁勛一本正經(jīng)地說：“我們可以附帶著賣熱水?！边@可不是句玩笑話，黃仁勛是有數(shù)據(jù)依據(jù)的：英偉達DGX新機的液冷散熱，液體入口溫度是25℃，接近室溫；出口溫度升高到45℃，接近按摩浴缸的水溫，流速是2L/s。當然了，比起賣水，GPU算力才是英偉達手里的印鈔機。
人稱“皮衣刀客”的黃仁勛，一貫具有極強的危機感和風險意識，永遠在提前為未來鋪路。再加上芯片行業(yè)是一個高風險高成本低容錯的行業(yè)，一步走錯，可能就會跌落神壇，滿盤皆輸。所以在AI算力需求空前爆發(fā)、一眾強敵虎視眈眈的關鍵時刻，英偉達不敢在新品上有絲毫懈怠，必然會在短期內(nèi)打出最大爆發(fā)，讓對手們望塵莫及。當競爭對手們還在以追趕英偉達旗艦GPU為目標時，黃仁勛已經(jīng)站在next Level，捕捉到數(shù)據(jù)中心客戶需求的痛點——單芯不頂事，真正頂事的是解決系統(tǒng)級性能和能效提升的挑戰(zhàn)。
拿單個旗艦GPU比，英偉達的芯片確實配得上“核彈”稱號，性能猛，功耗也高。但黃仁勛厲害在早就跳出芯片本身，不斷向數(shù)據(jù)中心客戶灌輸“買得越多 省得越多”的理念，簡而言之買英偉達的AI系統(tǒng)方案比其他方案更快更省錢。從Blackwell架構設計到AI基礎設施的技術布局，都能反映黃仁勛對未來市場需求和行業(yè)趨勢的前瞻性判斷：
1、摩爾定律帶動性能提升越來越捉襟見肘，單die面積和晶體管快到極限，后續(xù)芯片迭代必須包括高帶寬內(nèi)存、Chiplet先進封裝、片內(nèi)互聯(lián)等技術的創(chuàng)新組合。再加上片外互連等高性能通信的優(yōu)化，共同構成了英偉達打造出專為萬億參數(shù)級生成式AI設計的系統(tǒng)的基礎。
2、未來，數(shù)據(jù)中心將被視為AI工廠，在整個生命周期里，AI工廠的目標是產(chǎn)生收益。不同于消費級市場單賣顯卡，數(shù)據(jù)中心市場是個系統(tǒng)級生意，單芯片峰值性能參考價值不大，把很多GPU組合成一個“巨型GPU”，使其在完成同等計算任務時耗費更少的卡、時間和電力，對客戶才能帶來更大的吸引力。
3、AI模型的規(guī)模和數(shù)據(jù)量將持續(xù)增長：未來會用多模態(tài)數(shù)據(jù)來訓練更大的模型；世界模型將大行其道，學習掌握現(xiàn)實世界的物理規(guī)律和常識；借助合成數(shù)據(jù)生成技術，AI甚至能模仿人類的學習方式，聯(lián)想、思考、彼此相互訓練。英偉達的目標是不斷降低與計算相關的成本和能耗。
4、高性能推理或生成將至關重要。云端運行的英偉達GPU可能有一半時間都被用于token生成，運行大量的生成式AI任務。這既需要提高吞吐量，以降低服務成本，又要提高交互速度以提高用戶體驗，一個GPU難以勝任，因此必須找到一種能在許多GPU上并行處理模型工作的方法。
01.最強AI芯片規(guī)格詳解：最大功耗2700W，CUDA配置成謎
本周二，英偉達發(fā)布新一代Blackwell GPU架構，不僅刻意弱化了單芯片的存在感，而且沒有明確GPU的代號，而是隱晦地稱作“Blackwell GPU”。這使得被公認遙遙領先的Blackwell架構多少籠上了一抹神秘色彩。在GTC大會現(xiàn)場，英偉達副總裁Ian Buck和高級副總裁Jonah Alben向智東西&芯東西等全球媒體進一步分享了關于Blackwell架構設計的背后思考。
結合22頁英偉達Blackwell架構技術簡報，關于GB200超級芯片、HGX B200/B100、DGX超級計算機等的配置細節(jié)被進一步披露。根據(jù)現(xiàn)有信息，全新Blackwell GPU沒有采用最先進的3nm制程工藝，而是繼續(xù)沿用4nm的定制增強版工藝臺積電4NP，已知的芯片款式有3類——B100、B200、GB200超級芯片。
B100不是新發(fā)布的主角，僅在HGX B100板卡中被提及。B200是重頭戲，GB200又進一步把B200和1顆72核Grace CPU拼在一起。B200有2080億顆晶體管，超過H100（800億顆晶體管）數(shù)量的兩倍。英偉達沒透露單個Blackwell GPU die的具體大小，只說是在reticle大小尺寸限制內(nèi)。上一代單die面積為814mm2。由于不知道具體數(shù)字，不好計算B200在單位面積性能上的改進幅度。
英偉達通過NV-HBI高帶寬接口，以10TB/s雙向帶寬將兩個GPU die互聯(lián)封裝，讓B200能像單芯片一樣運行，不會因為通信損耗而損失性能，沒有內(nèi)存局部性問題，也沒有緩存問題，能支持更高的L2緩存帶寬。但英偉達并沒有透露它具體采用了怎樣的芯片封裝策略。前代GH200超級芯片是把1個H100和1個Grace CPU組合。而GB200超級芯片將2個Blackwell GPU和CPU組合，每個GPU的滿配TDP達到1200W，使得整個超級芯片的TDP達到2700W（1200W x 2+300W）。
▲Blackwell GB200規(guī)格（圖源：芯東西根據(jù)技術簡報表格譯成中文）
值得關注的是，Blackwell架構技術簡報僅披露了Tensor核心數(shù)據(jù)，對CUDA核心數(shù)、Tensor核心數(shù)、向量算力等信息只字未提。除了FP64是稠密，其他數(shù)據(jù)格式都顯示了稀疏算力。
相比之下，標準FP64 Tensor核心計算性能提升幅度不大，H100和H200是67TFLOPS，GB200超級芯片是90TFLOPS，比上一代提高34%。一種可能的推測是Blackwell架構的設計全面偏向AI計算，對高性能計算的提升不明顯。如果晶體管都用于堆Tensor核心，它的通用能力會變?nèi)?，更像個偏科的AI NPU。由于采用相同的基礎設施設計，從Hopper換用Blackwell主板就像推拉抽屜一樣方便。技術簡報披露了Blackwell x86平臺HGX B100、HGX B200的系統(tǒng)配置。HGX B200搭載8個B200，每個GPU的TDP為1000W；HGX B100搭載8個B100，每個GPU的TDP為700W。
在數(shù)據(jù)中心Blackwell GPU發(fā)布后，業(yè)界關注焦點移向同樣基于Blackwell架構的游戲顯卡RTX 50系列。目前距離RTX 50系列GPU的發(fā)布日期還很遙遠，最快也得到今年年底，慢點可能要到明年甚至是后年。不過現(xiàn)在已經(jīng)有很多關于配置的傳言，比如采用臺積電3nm和28Gbps GDDR 7顯存、最大總線寬度有384bit和512bit兩種說法，芯片包括從入門級GB207到高端級GB202，會繼續(xù)優(yōu)化路徑追蹤、光線追蹤。
02.8年AI訓練算力提升1000倍，英偉達是怎么做到的？
從2016年Pascal GPU的19TFLOPS，到今年Blackwell GPU的20PFLOPS，黃仁勛宣布英偉達用8年將單卡AI訓練性能提升了1000倍。
這個聽起來令人心潮澎湃的倍數(shù)，除了得益于制程工藝迭代、更大的HBM容量和帶寬、雙die設計外，數(shù)據(jù)精度的降低起到關鍵作用。
多數(shù)訓練是在FP16精度下進行，但實際上不需要用這么高的精度去處理所有參數(shù)。英偉達一直在探索怎么通過混合精度操作來在降低內(nèi)存占用的同時確保吞吐量不受影響。Blackwell GPU內(nèi)置的第二代Transformer引擎，利用先進的動態(tài)范圍管理算法和細粒度縮放技術（微型tensor縮放）來優(yōu)化性能和精度，并首度支持FP4新格式，使得FP4 Tensor核性能、HBM模型規(guī)模和帶寬都實現(xiàn)翻倍。
同時TensorRT-LLM的創(chuàng)新包括量化到4bit精度、具有專家并行映射的定制化內(nèi)核，能讓MoE模型實時推理使用耗費硬件、能量、成本。NeMo框架、Megatron-Core新型專家并行技術等都也為模型訓練性能的提升提供了支持。降精度的難點是兼顧用戶對準確率的需求。FP4并不在什么時候都有效，英偉達專門強調(diào)的是對混合專家模型和大語言模型帶來的好處。把精度降到FP4可能會有困惑度增加的問題，英偉達還貼心地加了個過渡的FP6，這個新格式雖然沒什么性能優(yōu)勢，但處理數(shù)據(jù)量比FP8減少25%，能緩解內(nèi)存壓力。
03.90天2000塊GPU訓練1.8萬億參數(shù)模型，打破通信瓶頸是關鍵
和消費級顯卡策略不同，面向數(shù)據(jù)中心，黃仁勛并不打算通過賣一顆兩顆顯卡來賺取蠅頭小利，而是走“堆料”路線來幫客戶省錢。無論是大幅提高性能，還是節(jié)省機架空間、降低電力成本，都對在AI大模型競賽中爭分奪秒的企業(yè)們相當有吸引力。黃仁勛舉的例子是訓練1.8萬億參數(shù)的GPT-MoE混合專家模型：用25000個Ampere GPU，需要3~5個月左右；要是用Hopper，需要約8000個GPU、90天來訓練，耗電15MW；而用Blackwell，同樣花90天，只需2000個GPU，耗電僅4MW。省錢與省電成正比，提高能效的關鍵是減少通信損耗。據(jù)Ian Buck和Jonah Alben分享，在GPU集群上運行龐大的GPT-MoE模型，有60%的時間都花在通信上。
Ian Buck解釋說，這不光是計算問題，還是I/O問題，混合專家模型帶來更多并行層和通信層。它將模型分解成一群擅長不同任務的專家，誰擅長什么，就將相應訓練和推理任務分配給誰。
所以實現(xiàn)更快的NVLink Switch互連技術非常重要。所有GPU必須共享計算過程中的結果，在DGX GB200 NVL72機架中，多節(jié)點All-to-All通信、all-Reduce的通信速度都較過去暴漲。
全新NVLink Switch芯片總帶寬達到7.2TB/s，支持GPU縱向擴展，能驅(qū)動4個1.8TB/s的NVLink端口。而PCIe 9.0 x16插槽預計要到2032年才能提供2TB/s的帶寬。從單卡來看，相比H100，Blackwell GPU的訓練性能僅提高到2.5倍，即便按新添的FP4精度算，推理性能也只提高到5倍。但如果從系統(tǒng)性能來看，相比上一代Hopper集群，Blackwell可將1.8萬億參數(shù)的GPT-MoE推理性能提高到30倍。
藍色曲線代表H200，紫紅色曲線代表B200，從藍到紫只涉及從Hopper單芯設計到Blackwell雙芯設計的芯片升級。加上全新FP4、Tensor核心、Transformer引擎、NVLink Switch等技術，性能漲到如綠色曲線代表的GB200所示。下圖中Y軸是每GPU每秒token數(shù)，代表數(shù)據(jù)中心吞吐量；X軸是每用戶每秒token數(shù)，代表用戶的交互體驗，越靠近右上方的數(shù)據(jù)代表兩種能力都很強。綠色曲線是峰值性能線。
為了找出GPT-MoE訓練的正確并行配置，英偉達做了大量實驗（得到圖中的藍點），以探索創(chuàng)建硬件和切割模型的正確方法，使其盡可能實現(xiàn)高效運行。其探索包括一些軟件重分塊、優(yōu)化策略判斷，并將大模型分布在不同的GPU中來滿足性能需求。左側TP2代表2個GPU的Tensor并行，EP8代表跨8個GPU的專家并行，DP4代表跨4個GPU的數(shù)據(jù)并行。右側有TP4，跨4個GPU的Tensor并行、跨16個GPU的專家并行。軟件層面不同的配置和分布式策略會導致運行時產(chǎn)生不同結果。黃仁勛還從通信耗材的角度來說明Blackwell DGX系統(tǒng)能夠更省電省錢。
他解釋說在DGX背面NVLink主干數(shù)據(jù)以130TB/s雙向帶寬通過機箱背面，比互聯(lián)網(wǎng)總帶寬還高，基本上1秒鐘內(nèi)能將所有內(nèi)容發(fā)送給每個人，里面有5000根NVLink銅纜、總長度2英里。如果用光傳輸，就必須使用光模塊和retimer，這倆器件要耗電20kW，僅是光模塊就要耗電2kW。只是為了驅(qū)動NVLink主干，英偉達通過NVLink Switch不耗電就能做到，還能節(jié)省20kW用于計算（整個機架功耗為120kW）。
04.集結高速通信能力，在單機架上打造E級算力AI超級計算機
更快的網(wǎng)絡，帶來了更強大的計算效率。DGX GB200 NVL72采用液冷機架式設計，顧名思義，通過第五代NVLink以1.8TB/s通信速度將72個GPU互連。一個機架最多有高達130TB/s的GPU帶寬、30TB內(nèi)存，訓練算力接近E級、推理算力超過E級。
相較相同數(shù)量H100 GPU的系統(tǒng)，GB200 NVL72為GPT-MoE-1.8T等大語言模型提供4倍的訓練性能。在GB200 NVL72中用32個Blackwell GPU運行GPT-MoE-1.8T，速度是64個Hopper GPU的30倍。
黃仁勛說，這是世界上第一臺單機架EFLOPS級機器，整個地球也不過兩三臺E級機器。對比之下，8年前，他交給OpenAI的第一臺DGX-1，訓練算力只有0.17PFLOPS。H100搭配的第四代NVLink總帶寬是900GB/s，第五代則翻倍提升到1.8TB/s，是PCle 5帶寬的14倍以上。每個GPU的NVLink數(shù)量沒變，都是18個鏈路。CPU與B200間的通信速度是300GB/s，比PCIe 6.0 x16插槽的256GB/s更快。
GB200 NVL72需要強大的網(wǎng)絡來實現(xiàn)最佳性能，用到了英偉達Quantum-X800 InfiniBand、Spectrum-X800以太網(wǎng)、BlueField-3 DPU和Magnum IO軟件。
兩年前，黃仁勛看到的GPU是HGX，重70磅，有35000個零件；現(xiàn)在GPU有60萬個零件，重3000磅，“應該沒有一頭大象沉”，“重量跟一輛碳纖維法拉利差不多”。第五代NVLink把GPU的可擴展數(shù)量提高到576個。英偉達還推出一些AI安全功能來確保數(shù)據(jù)中心GPU的最大正常運行時間。8個GB200 NVL72機架可組成1個SuperPOD，與800Gb/s InfiniBand或以太網(wǎng)互連，或者可以創(chuàng)建一個將576個GPU互連的大型共享內(nèi)存系統(tǒng)。
據(jù)Ian Buck透露，目前最大配置的576個GPU互連主要是用于研究，而不是生產(chǎn)。
05.結語：八年伏脈，一朝登頂
從打造垂直生態(tài)的角度來看，英偉達越來越像芯片和AI計算領域的蘋果，在研發(fā)、工程和生態(tài)方面都展現(xiàn)出強大而全面的統(tǒng)治力。就像蘋果用App Store牢牢粘住開發(fā)者和消費者一樣，英偉達已經(jīng)打造了完備的芯片、系統(tǒng)、網(wǎng)絡、安全以及各種開發(fā)者所需的軟件，用最好的軟硬件組合不斷降低在GPU上加速AI計算的門檻，讓自己始終處于企業(yè)及開發(fā)者的首選之列。
在數(shù)據(jù)中心，看單個芯片峰值性能沒什么意義，很多芯片連在一起實現(xiàn)的實質(zhì)性算力改進，才有直接參考性。所以黃仁勛要賣“系統(tǒng)”，是一步跨到數(shù)據(jù)中心客戶算力需求的終點。
相比上一代Hopper，Blackwell GPU的主要優(yōu)化沒有依賴制程工藝技術的提升，而是更先進的內(nèi)存、更快的片內(nèi)互聯(lián)速度，并通過升級片間互連、多機互連的速度以及可擴展性、管理軟件，消除大量數(shù)據(jù)處理導致的通信瓶頸，從而將大量GPU連成一個更具成本效益的強大系統(tǒng)。
草蛇灰線，伏脈千里。將芯片、存儲、網(wǎng)絡、軟件等各環(huán)節(jié)協(xié)同的系統(tǒng)設計之路，英偉達早在8年前就在探索。
2016年4月，黃仁勛親手將第一臺內(nèi)置8個P100 GPU的超級計算機DGX-1贈予OpenAI團隊。之后隨著GPU和互連技術的更新?lián)Q代，DGX也會隨之升級，系統(tǒng)性能與日俱增。數(shù)據(jù)中心AI芯片是當前硅谷最熱門的硬件產(chǎn)品。而英偉達是這個行業(yè)的規(guī)則制定者，也是離生成式AI客戶需求最近的企業(yè)，其對下一代芯片架構的設計與銷售策略具有行業(yè)風向標的作用。
通過實現(xiàn)讓數(shù)百萬個GPU共同執(zhí)行計算任務并最大限度提高能效的基礎創(chuàng)新，黃仁勛反復強調(diào)的“買得越多 省得越多”已經(jīng)越來越具有說服力。
下載ECAD模型
