存算一體

2月21日報(bào)道，在OpenAI推出又一爆款力作AI視頻生成模型Sora后，連帶著偏上游的AI芯片賽道熱度一點(diǎn)即著。創(chuàng)始成員來自谷歌TPU團(tuán)隊(duì)的美國存算一體AI芯片公司Groq便是最新贏家。這家創(chuàng)企自稱其自研AI推理引擎LPU做到了“世界最快推理”，由于其超酷的大模型速度演示、遠(yuǎn)低于GPU的token成本，這顆AI芯片最近討論度暴漲。連原阿里副總裁賈揚(yáng)清都公開算賬，分析LPU和H100跑大模型的采購和運(yùn)營成本到底差多少。

AI當(dāng)前面臨的形勢是極其復(fù)雜的，既需要底層技術(shù)的根本變革，也需要軟硬件生態(tài)、上下游供應(yīng)鏈的合力發(fā)展，同時(shí)，也要充分看到AI大模型的發(fā)展方向，下沉到邊緣、端側(cè)是必然方向，也將給多元算力發(fā)展帶來全新機(jī)遇。

AI算力在2023年呈現(xiàn)出快速增長態(tài)勢。一方面，千行百業(yè)的AI應(yīng)用推動(dòng)了算力的結(jié)構(gòu)性增長機(jī)會，AI芯片繼續(xù)多樣化演進(jìn)趨勢；另一方面，從大模型到AIGC，算力需求激增，且隨著模型規(guī)模和參數(shù)量的增長，算力需求仍在暴漲。 這也引發(fā)了業(yè)界的持續(xù)討論：在競逐更強(qiáng)、更快的未來算力時(shí)，還有哪些焦點(diǎn)問題不容忽視？面向更大規(guī)模的數(shù)據(jù)密集型AI應(yīng)用中，居高不下的功耗問題如何解決？ 國產(chǎn)存算一體，重大進(jìn)展 在新一輪算力

多地拼搶AI芯片產(chǎn)業(yè)，政策密集出臺，除了給錢還有啥？根據(jù)芯東西不完全統(tǒng)計(jì)，今年以來，江蘇、南京、北京、深圳、成都、無錫、四川、上海、福建、重慶、杭州、寧夏等至少12個(gè)省市在最新公布的政策文件中明確提及對人工智能（AI）芯片的規(guī)劃支持。

目前，AI模型的主干網(wǎng)絡(luò)正從CNN轉(zhuǎn)變?yōu)門ransformer，因?yàn)楹笳呔哂芯雀摺⑷中蕴卣?、多模態(tài)和遷移性強(qiáng)的特點(diǎn)。在云端，用Transformer已經(jīng)可以實(shí)現(xiàn)虛擬教師、AI智能對話（例如ChatGPT），代碼自動(dòng)生成等場景，可以用GPU加速計(jì)算Transformer，但在端側(cè)——如機(jī)器人、智慧教育等場景——目前的處理器在Transformer的加速計(jì)算上還面臨難題。

對算力芯片來說，最根本的追求就是計(jì)算效率，因此優(yōu)良的能效比一直是提升計(jì)算能力的關(guān)鍵。當(dāng)前，將內(nèi)存和計(jì)算更緊密地結(jié)合在一起的存算一體方案，正獲得越來越多的關(guān)注，并逐步由研究走入商用場景中。 存算一體架構(gòu)優(yōu)勢 在傳統(tǒng)的馮·諾依曼架構(gòu)中，由于計(jì)算與存儲分離，計(jì)算過程中需要不斷通過總線交換數(shù)據(jù)，將數(shù)據(jù)從內(nèi)存讀進(jìn)CPU，計(jì)算完成后再寫回存儲。而隨著深度學(xué)習(xí)的發(fā)展和應(yīng)用，計(jì)算單元和存儲單元之間的數(shù)據(jù)移動(dòng)尤為頻

對算力芯片來說，最根本的追求就是計(jì)算效率，因此優(yōu)良的能效比一直是提升計(jì)算能力的關(guān)鍵。并行計(jì)算、分布式計(jì)算，以及采用算法和硬件高度集成的專用芯片，都是業(yè)界這些年的主要實(shí)踐。 雖然多核CPU/眾核GPU的并行加速技術(shù)可以提升算力，但隨著摩爾定律逼近極限，存儲帶寬已經(jīng)在制約計(jì)算系統(tǒng)的有效帶寬，系統(tǒng)算力增長步履維艱。也就是在這一背景下，存算一體成為探尋極致計(jì)算效率道路上一個(gè)新方向，業(yè)界甚至稱它為“AI算力

“最高物理算力256 TOPS，典型功耗35W，基于12nm制程工藝?！?月10日，后摩智能發(fā)布首款基于存算一體架構(gòu)的智駕芯片——鴻途?H30，并公布上述關(guān)鍵指標(biāo)。

當(dāng)ASIC、GPGPU發(fā)展道路面臨底層技術(shù)與產(chǎn)業(yè)需求的雙向夾擊，“換道”也許能開辟新的可能。誰能率先填補(bǔ)大模型算力需求的缺口，誰就有機(jī)會搶占新一輪AI芯片搶位賽的前排。

? 2021年12月國務(wù)院印發(fā)“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃，強(qiáng)調(diào)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型邁上新臺階的要求，自上而下明確數(shù)字化轉(zhuǎn)型方向。全球范圍內(nèi)數(shù)字經(jīng)濟(jì)占比持續(xù)提升，根據(jù)IDC數(shù)據(jù)顯示，2020年內(nèi)全球企業(yè)數(shù)字化轉(zhuǎn)型相關(guān)支出達(dá)1.3萬億美元，預(yù)計(jì)到2024年支出將增長至2.4萬億美元，同期非數(shù)字化轉(zhuǎn)型的ICT投資將以-1.6%的CAGR收縮。 新興業(yè)務(wù)場景驅(qū)動(dòng)下，企業(yè)對于數(shù)據(jù)實(shí)時(shí)性需求正在不斷增加：

編輯 | 包永剛

20世紀(jì)初的物理學(xué)家不會想到，懸浮在物理學(xué)大廈上的兩朵烏云會徹底顛覆整個(gè)物理學(xué)體系，馮·諾依曼在參與曼哈頓工程提出新架構(gòu)時(shí)，也不會想到未來阻止芯片算力進(jìn)步的竟然不是芯片本身。 ? 馮·諾依曼結(jié)構(gòu)的誕生與局限 1945年6月30日，美國正在秘密進(jìn)行曼哈頓計(jì)劃。馮·諾依曼作為該計(jì)劃的重要參與者與領(lǐng)導(dǎo)者，與另外兩位組內(nèi)科學(xué)家發(fā)表了一篇長達(dá)101頁的報(bào)告，這就是計(jì)算機(jī)史上著名的“101頁報(bào)告”，

行業(yè)面臨的挑戰(zhàn)很突出，一邊是需要逾越的“算力高墻”，一邊則是固守多年的“存儲墻”。而只有創(chuàng)新架構(gòu)，打破存儲墻、降低成本、提升計(jì)算效率，才能讓芯片算力更進(jìn)一步，推進(jìn)數(shù)據(jù)計(jì)算應(yīng)用的發(fā)展，

9月14日報(bào)道，在剛剛落幕的GTIC 2022全球AI芯片峰會期間，知存科技創(chuàng)始人兼CEO王紹迪進(jìn)行了以《WTM存內(nèi)計(jì)算芯片應(yīng)用及發(fā)展》為題的演講。王紹迪說，與傳統(tǒng)馮·諾依曼架構(gòu)相比，存算一體具備明顯的能效、成本優(yōu)勢。但未來要滿足更多場景需求，存算一體在通用性、工具鏈、精度上的優(yōu)勢還有待補(bǔ)齊。