萬(wàn)億參數(shù)模型的數(shù)據(jù)遷移挑戰(zhàn)巨大，PCIe7.0如何提升AI芯片帶寬？

有關(guān)人工智能（AI）快速發(fā)展的新聞報(bào)道層出不窮，與此同時(shí)，對(duì)先進(jìn)、高效的硬件基礎(chǔ)結(jié)構(gòu)的需求也變得愈加迫切。大語(yǔ)言模型（LLM）越來(lái)越復(fù)雜，所需參數(shù)量每四到六個(gè)月就會(huì)翻一番。事實(shí)上，GPT-4的參數(shù)量超過(guò)一萬(wàn)億！這個(gè)數(shù)字看似很直白，但其所對(duì)應(yīng)的數(shù)據(jù)量龐大到令人咋舌──2萬(wàn)億字節(jié)就相當(dāng)于200,000張高分辨率照片或500,000個(gè)文檔。要想高效且穩(wěn)定地遷移如此龐大的數(shù)據(jù)集，就必須依賴(lài)于高可靠性、高帶寬的互連技術(shù)。

如果數(shù)據(jù)陷入傳輸瓶頸，復(fù)雜的LLM算法和強(qiáng)大的加速器/處理器也將失去意義。大規(guī)模處理和存儲(chǔ)這些模型需要高速和低延遲，而當(dāng)前超大規(guī)模數(shù)據(jù)中心的基礎(chǔ)設(shè)施無(wú)法滿足。為了推動(dòng)技術(shù)變革，超大規(guī)模用戶和整個(gè)配套生態(tài)系統(tǒng)需要考慮從芯片級(jí)別轉(zhuǎn)變，以支持?jǐn)U展可實(shí)時(shí)處理PB級(jí)數(shù)據(jù)的系統(tǒng)，同時(shí)降低功耗。

在這種背景下，PCI Express標(biāo)準(zhǔn)再次更新，PCIe 7.0應(yīng)運(yùn)而生。PCIe 7.0可提供最高達(dá)512 GB/s的帶寬和超低延遲，能夠滿足AI工作負(fù)載的海量并行計(jì)算需求，幫助緩解數(shù)據(jù)瓶頸。今天，新思科技推出了完整的PCIe 7.0 IP解決方案，助力實(shí)現(xiàn)安全的數(shù)據(jù)傳輸并為下一代AI和HPC芯片提升帶寬。

▲?圖1：AI模型中的參數(shù)量每4到6個(gè)月就會(huì)翻一番，比摩爾定律快4倍，因此需要更大的容量、更多的資源和更快的互連

AI基礎(chǔ)結(jié)構(gòu)的演變

典型的云應(yīng)用服務(wù)器機(jī)架單元中有清晰的結(jié)構(gòu)：處理器和網(wǎng)絡(luò)接口卡（NIC）或數(shù)據(jù)處理單元（DPU）通過(guò)PCIe鏈路進(jìn)行連接。

▲?圖2：相干計(jì)算需求呈指數(shù)級(jí)增長(zhǎng)，催生下一代CPU到加速器的連接技術(shù)

然而，AI模型日趨復(fù)雜，模型訓(xùn)練的基礎(chǔ)結(jié)構(gòu)要求也隨之發(fā)生了巨大變化。當(dāng)今的AI工作負(fù)載需要不同的架構(gòu)，其中多個(gè)加速器需與中央處理器協(xié)同工作。事實(shí)上，一些先進(jìn)架構(gòu)需通過(guò)支持加載-存儲(chǔ)架構(gòu)的互連技術(shù)，在單個(gè)計(jì)算單元內(nèi)連接多達(dá)1,024個(gè)加速器，確保處理器能夠高效地管理和處理每個(gè)數(shù)據(jù)包。PCIe 7.0提供連接多個(gè)加速器所需的帶寬和加載-存儲(chǔ)功能，進(jìn)而促使其高效處理大型、復(fù)雜的機(jī)器學(xué)習(xí)模型。此外，PCIe 7.0還滿足了處理器的以太網(wǎng)帶寬需求，以便與兼容1.6 Tbps以太網(wǎng)鏈路的網(wǎng)絡(luò)接口卡進(jìn)行連接。

更重要的是，PCIe 7.0還可以通過(guò)完整性和數(shù)據(jù)加密（IDE）協(xié)議支持強(qiáng)化數(shù)據(jù)安全防護(hù)，為事務(wù)層數(shù)據(jù)包（TLP）和流量控制單元（FLIT）提供數(shù)據(jù)機(jī)密性、完整性和重放保護(hù)。

新思科技PCIe 7.0 IP解決方案可支持?jǐn)U展AI工作負(fù)載并降低集成風(fēng)險(xiǎn)

新思科技在PCIe IP領(lǐng)域深耕二十余年，與眾多公司合作完成了3,000多項(xiàng)設(shè)計(jì),致力于持續(xù)為整個(gè)PCIe生態(tài)系統(tǒng)提供接口IP支持，相關(guān)產(chǎn)品范圍涵蓋處理器、加速器、閃存控制器、固態(tài)驅(qū)動(dòng)器、Retimer、智能NIC及交換機(jī)等。

典型的云應(yīng)用服務(wù)器機(jī)架單元中有清晰的結(jié)構(gòu)：處理器和網(wǎng)絡(luò)接口卡（NIC）或數(shù)據(jù)處理單元（DPU）通過(guò)PCIe鏈路進(jìn)行連接。

與前幾代PCIe相比，互連功耗降低50%

低延遲、高帶寬鏈路，提供從端點(diǎn)到根的完整解決方案，并包含所有必要的向后兼容特性

信號(hào)完整性優(yōu)異，每條通道速度最高可達(dá)128 Gb/s，可實(shí)現(xiàn)512 GB/s PCIe系統(tǒng)

IDE安全防護(hù)，包括數(shù)據(jù)機(jī)密性、完整性和重放保護(hù)，可有效應(yīng)對(duì)硬件級(jí)攻擊

內(nèi)置協(xié)議檢查，提供多種控制器與PHY配置，以便通過(guò)新思科技驗(yàn)證IP來(lái)加速驗(yàn)證收斂

SoC驗(yàn)證套件，可提高IP集成的健全性并降低從IP轉(zhuǎn)移到SoC的集成風(fēng)險(xiǎn)

經(jīng)得起未來(lái)考驗(yàn)的AI基礎(chǔ)結(jié)構(gòu)

對(duì)處在創(chuàng)新前沿的公司而言，與值得信賴(lài)的PCIe 7.0 IP供應(yīng)商合作不僅是一項(xiàng)明智的選擇，更是一條必由之路。這項(xiàng)新技術(shù)將為下一代AI發(fā)展提供所需的性能、安全性和可擴(kuò)展性，從而讓設(shè)計(jì)能夠應(yīng)對(duì)日益復(fù)雜且不斷增長(zhǎng)的AI工作負(fù)載需求。