算力受限困局如何突破？華為云CloudMatrix讓云化算力實(shí)現(xiàn)彎道超車！

在大模型成為新質(zhì)生產(chǎn)力代表的今天，傳統(tǒng)算力架構(gòu)局限性日益凸顯，成為制約AI潛能釋放的關(guān)鍵因素。再加上國(guó)外對(duì)中國(guó)算力供給側(cè)的限制，如何實(shí)現(xiàn)我國(guó)算力使用的高效與靈活，成為亟待解答的時(shí)代命題。

有這么一家全球領(lǐng)先的云服務(wù)提供商，正以其創(chuàng)新的CloudMatrix架構(gòu)，通過(guò)全新的設(shè)計(jì)理念，匹配大規(guī)模的算力需求，為這場(chǎng)算力革命繪制出嶄新的藍(lán)圖。

想必大家好奇，我國(guó)的算力獲取困境能否靠架構(gòu)創(chuàng)新打破？CloudMatrix是哪家廠商提出的？能為行業(yè)帶來(lái)哪些價(jià)值？該廠商的AI實(shí)力如何？今天我們一并揭曉。

01、破解算力獲取之困，算力云化大勢(shì)所趨

隨著大模型的興起，我國(guó)人工智能發(fā)展進(jìn)入加速期。根據(jù)《2023全球人工智能創(chuàng)新指數(shù)報(bào)告》指出，我國(guó)AI的綜合水平保持在全球第二的水平，在人才培養(yǎng)和科研產(chǎn)出、產(chǎn)業(yè)發(fā)展等方面取得明顯進(jìn)展，高層次人才數(shù)量與美國(guó)的差距逐漸縮小，頂會(huì)頂刊論文、高影響力人工智能開(kāi)源項(xiàng)目等數(shù)量明顯上升，人工智能企業(yè)數(shù)量和風(fēng)險(xiǎn)投資額保持全球第二。

人工智能的發(fā)展離不開(kāi)數(shù)據(jù)、算法和算力三駕馬車，但獲取算力卻成了“攔路虎”。

其一，大模型推理和訓(xùn)練場(chǎng)景均需要大算力，例如大模型訓(xùn)練往往需要數(shù)千張GPU卡，基于TB級(jí)別的數(shù)據(jù)，耗時(shí)幾個(gè)月進(jìn)行訓(xùn)練；

其二，AI算力對(duì)數(shù)據(jù)中心要求極高，單機(jī)柜功耗提升了6-8倍，還需要專用液冷系統(tǒng)散熱；

其三，自建數(shù)據(jù)中心周期長(zhǎng)、要求嚴(yán)苛、能耗高，難以滿足大模型時(shí)代快速訓(xùn)練和迭代的要求。

在此背景下，云化算力應(yīng)運(yùn)而生。云化算力具有即開(kāi)即用、按需使用、靈活部署、集群算力、專業(yè)服務(wù)、運(yùn)維安全等六大主要優(yōu)勢(shì)，成為大模型訓(xùn)練、推理部署的必要基礎(chǔ)設(shè)施。根據(jù)相關(guān)數(shù)據(jù)顯示，AI算力已重度依賴云化部署，2025年算力云化的比例將達(dá)到80%。

前段時(shí)間，筆者去參加了華為云蕪湖數(shù)據(jù)中心開(kāi)服儀式。華為輪值董事長(zhǎng)徐直軍在儀式上指出，智能時(shí)代獲取算力的最好的方式是云服務(wù)，企業(yè)不必建設(shè)數(shù)據(jù)中心，可以聚焦自身業(yè)務(wù)發(fā)展。

當(dāng)前，擺在業(yè)界面前的問(wèn)題是，如何讓云化算力獲取效率更上一層樓？

在近日舉辦的2024世界人工智能大會(huì)上，華為常務(wù)董事、華為云CEO張平安指出，華為正在通過(guò)“云網(wǎng)端芯”架構(gòu)上的協(xié)同創(chuàng)新，來(lái)構(gòu)建可持續(xù)發(fā)展的AI算力基礎(chǔ)，包括云基礎(chǔ)設(shè)施系統(tǒng)架構(gòu)創(chuàng)新、芯端算力上云、面向AI的網(wǎng)絡(luò)架構(gòu)升級(jí)三大方面。

以云基礎(chǔ)設(shè)施為例，隨著人工智能、大數(shù)據(jù)處理、高性能計(jì)算等多元化算力需求的急劇攀升，傳統(tǒng)以CPU為中心的主從架構(gòu)面對(duì)的挑戰(zhàn)越來(lái)越大。

首先，傳統(tǒng)架構(gòu)難以高效支持異構(gòu)算力調(diào)度，導(dǎo)致資源利用不充分；其次，傳統(tǒng)架構(gòu)擴(kuò)展性和靈活性受限，難以快速響應(yīng)動(dòng)態(tài)變化的計(jì)算任務(wù)需求；最后，傳統(tǒng)架構(gòu)處理大規(guī)模并行計(jì)算和實(shí)時(shí)數(shù)據(jù)處理能力不足，影響AI模型訓(xùn)練與推理效率。

02、下一代云基礎(chǔ)設(shè)施CloudMatrix，開(kāi)啟智算新紀(jì)元

上述三大挑戰(zhàn)如何破解？華為云推出了全新的CloudMatrix架構(gòu)，以“一切可池化”“一切皆對(duì)等”“一切可組合”三大創(chuàng)新設(shè)計(jì)，從算力規(guī)模、擴(kuò)展模式和使用模式上，匹配超大規(guī)模的算力訴求，通過(guò)技術(shù)創(chuàng)新來(lái)解決行業(yè)難題，讓云化算力成為智能時(shí)代最好的選擇。

筆者在華為云蕪湖數(shù)據(jù)中心開(kāi)服儀式中了解到，CloudMatrix架構(gòu)已在該數(shù)據(jù)中心率先應(yīng)用。你是否好奇，新架構(gòu)CloudMatrix能為破解算力之困帶來(lái)哪些突破？

突破一：分布式QingTian，從主從架構(gòu)到對(duì)等架構(gòu)，打造算力形態(tài)躍遷。

過(guò)去兩年大模型發(fā)展得如火如荼，大模型參數(shù)量增長(zhǎng)11.2倍，但現(xiàn)存容量?jī)H增長(zhǎng)2倍。為了破解內(nèi)存瓶頸，業(yè)界使用大量算力換取顯存容量，但NPU利用率僅有30%，十分低效。

華為云QingTian架構(gòu)如何解決？QingTian架構(gòu)把傳統(tǒng)的主從式架構(gòu)升級(jí)為對(duì)等架構(gòu)，提出“一切皆池化”的理念?！耙磺薪猿鼗币簿鸵馕吨?jì)算資源、存儲(chǔ)資源及網(wǎng)絡(luò)資源被納入統(tǒng)一的資源池中，實(shí)現(xiàn)靈活管理和動(dòng)態(tài)分配，從而提升資源利用率。

QingTian架構(gòu)帶來(lái)的效果也很顯著，它使得單節(jié)點(diǎn)算力提升50倍，資源碎片率降低至1%，NPU算力有效利用率提升到60%，大模型訓(xùn)練效率提升68%。

突破二：MatrixLink，從Scale Out到Scale UP+Scale Out。

近年來(lái)，大模型運(yùn)算需求呈指數(shù)級(jí)爆炸，運(yùn)算量在過(guò)去兩年內(nèi)劇增16.8倍，但GPU間的網(wǎng)絡(luò)互聯(lián)帶寬增長(zhǎng)僅提高了1.5倍，網(wǎng)絡(luò)瓶頸凸顯。在矩陣算力的新紀(jì)元里，傳統(tǒng)基于以太網(wǎng)的VPC網(wǎng)絡(luò)架構(gòu)已顯得力不從心，難以承載日益復(fù)雜的計(jì)算任務(wù)和數(shù)據(jù)流動(dòng)需求。

MatrixLinx網(wǎng)絡(luò)正是為了突破網(wǎng)絡(luò)瓶頸而生。MatrixLinx網(wǎng)絡(luò)實(shí)現(xiàn)了算力資源的全面池化與對(duì)等互聯(lián)，還憑借自定義的矩陣拓?fù)浣Y(jié)構(gòu)和秒級(jí)的網(wǎng)絡(luò)狀態(tài)感知能力，做到清晰感知資源位置、狀態(tài)以及網(wǎng)絡(luò)抖動(dòng)，將大模型訓(xùn)練集群的線性度提升至95%，網(wǎng)絡(luò)故障分鐘級(jí)恢復(fù)。

更為關(guān)鍵的是，MatrixLink技術(shù)的融入，使得網(wǎng)絡(luò)擴(kuò)展模式由單純的Scale Out（橫向擴(kuò)展）進(jìn)化到Scale Up+Scale Out相結(jié)合。這不僅能讓大規(guī)模的模型訓(xùn)練運(yùn)行效率更高，還能靈活適配中小型推理應(yīng)用，真正做到了“大有可為，小亦精妙”。

突破三：瑤光智慧云腦，從固定算力到可組合算力，打造算力使用模式躍遷。

上述資源池化和高速網(wǎng)絡(luò)互聯(lián)兩大技術(shù)突破，打通了資源的高速通道，同時(shí)也對(duì)大規(guī)模算力調(diào)度提出了嚴(yán)峻的挑戰(zhàn)，傳統(tǒng)服務(wù)器粒度的粗放調(diào)度已無(wú)法滿足需求。

基于此，華為云推出了瑤光智慧云腦，它能實(shí)現(xiàn)資源的按需組合，通過(guò)匹配最優(yōu)算力組合，實(shí)現(xiàn)百億到萬(wàn)億級(jí)模型訓(xùn)練所需要的資源。同時(shí)，通過(guò)智能調(diào)度，瑤光智慧云腦能充分發(fā)揮算力性價(jià)比與資產(chǎn)最大價(jià)值。

不僅如此，華為還在算法能力上持續(xù)創(chuàng)新，通過(guò)XPU池化的切分復(fù)用，即將CPU、GPU等異構(gòu)的計(jì)算資源精細(xì)化分割，讓同一XPU能服務(wù)于多個(gè)計(jì)算任務(wù)。這一創(chuàng)新將XPU的利用率從40%提升到80%，集群可用性提升至95%，這對(duì)于高算力需求場(chǎng)景尤為關(guān)鍵。

CloudMatrix作為智能時(shí)代算力領(lǐng)域的標(biāo)志性實(shí)踐，已經(jīng)在三大領(lǐng)域展示出卓越貢獻(xiàn)。

首先，在AI應(yīng)用領(lǐng)域，CloudMatrix憑借靈活的Matrix檔位配置，輕松駕馭各類復(fù)雜大模型的訓(xùn)練需求，相同硬件基礎(chǔ)設(shè)施上，能夠顯著提升訓(xùn)練效率達(dá)68%，同時(shí)在AI模型推理（AII2AII）過(guò)程中，效率增長(zhǎng)10倍，為深度學(xué)習(xí)和機(jī)器學(xué)習(xí)鋪設(shè)了堅(jiān)實(shí)的算力基石。

其次，在HPC（高性能計(jì)算）領(lǐng)域，針對(duì)包含400億單元的仿真案例，CloudMatrix通過(guò)優(yōu)化的CFD（計(jì)算流體力學(xué)）負(fù)載調(diào)度，將原本需耗時(shí)兩個(gè)月的仿真時(shí)長(zhǎng)壓縮至僅僅30小時(shí)，實(shí)現(xiàn)了效率50倍的飛躍，為科學(xué)研究與工程模擬開(kāi)辟了前所未有的高速通道。

最后，在通用計(jì)算場(chǎng)景中，CloudMatrix 方案在確保成本不變的前提下，將計(jì)算IO的極限性能提升8倍，彰顯了其對(duì)資源的極致利用，重新定義了云計(jì)算的性價(jià)比與服務(wù)邊界。

除了在云基礎(chǔ)設(shè)施領(lǐng)域的創(chuàng)新CloudMatrix，筆者關(guān)注到華為云也在發(fā)力面向AI的網(wǎng)絡(luò)架構(gòu)升級(jí)以及芯端算力上云這兩大領(lǐng)域。比如在芯端算力上云方面，張平安介紹，華為云創(chuàng)新的方向是將端側(cè)的AI算力需求，通過(guò)光纖和無(wú)線網(wǎng)絡(luò)釋放到云上，通過(guò)端云協(xié)同獲得無(wú)縫的AI算力，大大釋放了對(duì)端側(cè)算力和功耗的壓力。

落地情況如何？目前，華為云已經(jīng)在云辦公、云設(shè)計(jì)、云拍照、云手機(jī)、云游戲等方面進(jìn)行端云協(xié)同創(chuàng)新，將端側(cè)的AI算力需求通過(guò)光纖和無(wú)線網(wǎng)絡(luò)釋放到云上，既保持了豐富的功能，又降低了功耗以及對(duì)芯片的依賴，充分釋放AI價(jià)值。

03、華為云AI全棧布局，做厚智能時(shí)代黑土地

管中窺豹，透過(guò)CloudMatrix架構(gòu)創(chuàng)新，我們看到的是華為云全棧的AI能力，包含盤古大模型、昇騰AI云服務(wù)、分布式QingTian架構(gòu)、AI-Native Storage和全球存算網(wǎng)等。

“依托華為云構(gòu)筑的全棧AI能力，通過(guò)全球存算網(wǎng)、昇騰AI云服務(wù)、盤古大模型等創(chuàng)新技術(shù)，我們將為千行萬(wàn)業(yè)創(chuàng)新發(fā)展注入數(shù)智活力，推動(dòng)中國(guó)智能產(chǎn)業(yè)蓬勃發(fā)展，加速培育具有創(chuàng)新性和競(jìng)爭(zhēng)力的新質(zhì)生產(chǎn)力?！睆埰桨脖硎尽?/p>

本文將為大家著重介紹，華為云在盤古大模型和昇騰AI云服務(wù)方面的能力建樹(shù)。

其一，華為云盤古大模型，為行業(yè)“解難題，做難事”。

堅(jiān)持只做事，不作詩(shī)的華為云，過(guò)去幾年一直在聚焦行業(yè)，加速千行萬(wàn)業(yè)的智能升級(jí)。截至目前，華為云聯(lián)合數(shù)百家伙伴與客戶，共同構(gòu)筑了30多個(gè)行業(yè)大模型，以及400多個(gè)AI應(yīng)用場(chǎng)景，已在金融、政務(wù)、制造、礦山、汽車、醫(yī)學(xué)、氣象等10+行業(yè)領(lǐng)域落地。

以鋼鐵行業(yè)為例，目前盤古大模型已上線寶鋼的熱軋生產(chǎn)線，實(shí)現(xiàn)精軋寬展預(yù)測(cè)精度較傳統(tǒng)模型提升了5%以上，每年有望多生產(chǎn)2萬(wàn)噸鋼板，增收9000多萬(wàn)元。值得一提的是，基于盤古大模型的鋼鐵行業(yè)AI應(yīng)用解決方案入圍了WAIC 2024的卓越人工智能引領(lǐng)者獎(jiǎng)，受到業(yè)界高度認(rèn)可。

此外，近日華為云盤古大模型升級(jí)到5.0版本，在“全系列、多模態(tài)、強(qiáng)思維”三個(gè)方面迎來(lái)全新升級(jí)，加入了不同參數(shù)規(guī)格的模型、能夠更好更精準(zhǔn)地理解物理世界、復(fù)雜邏輯推理更強(qiáng)，不僅拓寬了AI技術(shù)的應(yīng)用邊界，還提升了跨領(lǐng)域協(xié)同作業(yè)的能力。

其二，昇騰AI云服務(wù)，提供即開(kāi)即用的6A級(jí)澎湃算力。

為了更好使能“百模千態(tài)”應(yīng)用快速落地，華為云在貴安、烏蘭察布、蕪湖、香港部署了四大AI云算力中心，基于華為AI軟硬件技術(shù)全棧，打造一站式、全場(chǎng)景、全流程AI應(yīng)用開(kāi)發(fā)及運(yùn)行管理平臺(tái)，對(duì)外提供高性價(jià)比、即開(kāi)即用的澎湃AI算力服務(wù)——昇騰云服務(wù)。

對(duì)于企業(yè)來(lái)說(shuō)，以后無(wú)需自建或改造傳統(tǒng)數(shù)據(jù)中心，無(wú)需投資通用的AI技術(shù)，也能輕松獲取高效AI算力。同時(shí)，昇騰云還實(shí)現(xiàn)了千卡訓(xùn)練連續(xù)30天不中斷，任務(wù)恢復(fù)時(shí)長(zhǎng)小于30分鐘，為大模型和AI應(yīng)用的開(kāi)發(fā)、運(yùn)行、運(yùn)維提供6A級(jí)云化算力底座。

目前，華為云已經(jīng)攜手奇瑞、科大訊飛、信義玻璃等企業(yè)，打造了領(lǐng)先的“AI+”應(yīng)用標(biāo)桿。合作伙伴對(duì)華為云如何評(píng)價(jià)？“中國(guó)的產(chǎn)業(yè)界非常自豪，華為能夠在真正的硬科技算力層面上給世界第二種選擇。現(xiàn)在業(yè)界能夠量產(chǎn)做大模型訓(xùn)練，除了英偉達(dá)只有華為一家，在推理上已經(jīng)做到完全對(duì)標(biāo)英偉達(dá)?！笨拼笥嶏w董事長(zhǎng)劉慶峰表示。

筆者觀察：華為云成AI時(shí)代領(lǐng)導(dǎo)者

40多年前，系統(tǒng)工程中國(guó)學(xué)派的創(chuàng)立，是錢學(xué)森為人類永續(xù)發(fā)展找到的“金鑰匙”。時(shí)至今日，華為云的CloudMatrix架構(gòu)創(chuàng)新，則為我國(guó)AI的發(fā)展注入了強(qiáng)大的“算力心臟”。

CloudMatrix不僅重塑了云計(jì)算基礎(chǔ)設(shè)施的格局，以對(duì)等架構(gòu)和一切皆池化的前瞻設(shè)計(jì)，能夠打破我國(guó)算力供給的桎梏，并且通過(guò)智能調(diào)度與極致優(yōu)化，將算力運(yùn)用效率推向新高峰。

志之所趨，無(wú)遠(yuǎn)弗屆，窮山距海，不能限也?？梢灶A(yù)見(jiàn)的是，站在CloudMatrix身后的華為云，將持續(xù)深入行業(yè)解難題、做難事，重塑千行萬(wàn)業(yè)。