圓桌 | “推理>訓(xùn)練”，RISC-V在邊緣計(jì)算領(lǐng)域有哪些發(fā)展機(jī)遇？

雖然RISC-V的誕生已經(jīng)有10多年，但站在5年前，我們?nèi)匀挥X(jué)得RISC-V是一項(xiàng)新技術(shù)，因?yàn)樗鼪](méi)有產(chǎn)品落地。今天五年過(guò)去了，RISC-V的勢(shì)頭已經(jīng)逐漸清晰，賽道也慢慢跑出來(lái)了。

在第四屆滴水湖中國(guó)RISC-V產(chǎn)業(yè)論壇上，除了像往年一樣跟蹤上一年推介的10款產(chǎn)品落地情況，并推介當(dāng)年最有希望量產(chǎn)落地，且具有代表性的10款產(chǎn)品以外，同期還舉辦了以《RISC-V在邊緣計(jì)算領(lǐng)域的發(fā)展機(jī)遇》為主題的圓桌論壇。

圖 | 《RISC-V在邊緣計(jì)算領(lǐng)域的發(fā)展機(jī)遇》圓桌討論現(xiàn)場(chǎng)，來(lái)源：芯原

論壇由中國(guó)RISC-V產(chǎn)業(yè)聯(lián)盟理事長(zhǎng)、芯原股份創(chuàng)始人、董事長(zhǎng)兼總裁戴偉民主持，并邀請(qǐng)到了英特爾亞太研發(fā)有限公司研發(fā)總監(jiān)段建鋼，達(dá)摩院（上海）科技有限公司研發(fā)總監(jiān) 梁中書(shū)，中國(guó)RISC-V產(chǎn)業(yè)聯(lián)盟秘書(shū)長(zhǎng)、芯來(lái)智融半導(dǎo)體科技（上海）有限公司CEO彭劍英，芯原股份高級(jí)副總裁、定制芯片平臺(tái)事業(yè)部總經(jīng)理汪志偉，北京大學(xué)講席教授、RISC-V國(guó)際基金會(huì)人工智能與機(jī)器學(xué)習(xí)專委會(huì)主席謝濤，烏鎮(zhèn)智庫(kù)理事長(zhǎng)張曉東六位重磅嘉賓，共同探討RISC-V的現(xiàn)狀、發(fā)展趨勢(shì)，以及更適用于中國(guó)RISC-V發(fā)展的道路選擇。

下面整理了本場(chǎng)圓桌論壇的重點(diǎn)對(duì)話情況：

戴偉民：在萬(wàn)物智聯(lián)時(shí)代，如何看待“RISC-V+AI”、“AI+RISC-V”的道路？

謝濤：“RISC-V+AI”就像是從RISC-V大房子“長(zhǎng)”出來(lái)的小房子，因?yàn)橛行┕δ苄枰蠓孔雍托》孔訁f(xié)同才能把任務(wù)做好，而這個(gè)小房子就相當(dāng)于“撐”起整個(gè)設(shè)計(jì)的加速器。

而“AI+RISC-V”就像是CPU和協(xié)處理器的關(guān)系，協(xié)處理器可能有很多個(gè)，從而組成一個(gè)集群的概念。

戴偉民：在AI領(lǐng)域，我們是否可能借助RISC-V來(lái)解決生態(tài)的問(wèn)題，就像Android一樣發(fā)揚(yáng)光大？

張曉東：我們要去挑戰(zhàn)CUDA生態(tài)，用開(kāi)源挑戰(zhàn)閉源，做一個(gè)全新的生態(tài)，存在哪些挑戰(zhàn)呢？我觀察到一個(gè)現(xiàn)象，有一些做得好的，往往是先有需求和產(chǎn)品，而后在產(chǎn)品和需求的基礎(chǔ)上去建設(shè)標(biāo)準(zhǔn)，這樣的標(biāo)準(zhǔn)往往更容易成功。如果我們現(xiàn)在憑空制造一個(gè)標(biāo)準(zhǔn)，然后希望拉產(chǎn)品的人來(lái)做，這個(gè)挑戰(zhàn)是相當(dāng)大的。

此外，我最近觀察到幾個(gè)現(xiàn)象，AI生態(tài)有好幾個(gè)類別，今年年初的時(shí)候英特爾推了自己的AI PC，但微軟出來(lái)說(shuō)，“你的東西不是AI PC，是不是AI PC我說(shuō)了算”，于是微軟定義了一個(gè)它自己的AI PC標(biāo)準(zhǔn)。那么，接下來(lái)蘋(píng)果也可能有所謂的“蘋(píng)果AI生態(tài)”，谷歌也有自己的生態(tài)。所以，在一個(gè)操作系統(tǒng)或者更大的應(yīng)用層面上，它會(huì)構(gòu)成一個(gè)生態(tài)，那個(gè)生態(tài)如果起來(lái)了，未來(lái)會(huì)和我們剛才說(shuō)要打造的“AI+RISC-V”間存在怎樣的關(guān)系呢？是RISC-V為其提供武器，還是說(shuō)在做了一些事情后就被其撇開(kāi)？

事實(shí)上，當(dāng)前CUDA還主要應(yīng)用在訓(xùn)練側(cè)，在端側(cè)的推理應(yīng)用不是很多，但兩、三年后，推理可能是訓(xùn)練體量的10倍及以上，帶來(lái)更大的影響力，這又將會(huì)是一個(gè)怎樣的動(dòng)態(tài)關(guān)系呢？我也想請(qǐng)教一下謝老師。

謝濤：確實(shí)這些問(wèn)題都很關(guān)鍵，我們要去推標(biāo)準(zhǔn)，可能有一些標(biāo)準(zhǔn)是偏學(xué)術(shù)機(jī)構(gòu)或者說(shuō)企業(yè)沒(méi)有深度參與的。但RISC-V國(guó)際基金會(huì)推標(biāo)準(zhǔn)時(shí)采取的是“自底向上”的策略，標(biāo)準(zhǔn)是以企業(yè)為核心的行業(yè)共識(shí)，我們的目標(biāo)不是標(biāo)準(zhǔn)本身，我們把標(biāo)準(zhǔn)當(dāng)作手段，推成標(biāo)準(zhǔn)之后就會(huì)把更新迭代和維護(hù)的工作交給各大國(guó)際開(kāi)源主流社區(qū)，所以這個(gè)標(biāo)準(zhǔn)是經(jīng)得起推敲的，也是有極大吸引力的。通常，AI芯片公司中2/3的工程師是軟件工程師，如果跟隨成熟標(biāo)準(zhǔn)，就可以借力減負(fù)，減少公司在軟件方面的成本投入。

第二個(gè)問(wèn)題，CUDA生態(tài)是英偉達(dá)推行的，然而包括AMD、谷歌、微軟在內(nèi)的科技巨頭都不希望英偉達(dá)一家獨(dú)大，確實(shí)英偉達(dá)的產(chǎn)品又貴又難買(mǎi)到。而RISC-V不是排他的思路，包括英偉達(dá)也想去擁抱它。支撐英偉達(dá)GPGPU芯片的開(kāi)源的系統(tǒng)軟件棧就像是一個(gè)“大煙囪”，現(xiàn)在也有一些國(guó)際公司很看好Triton生態(tài)，希望把它做成“小煙囪”，當(dāng)RISC-V把大家團(tuán)結(jié)起來(lái)，就可以形成另外一個(gè)平行的“大煙囪”。

戴偉民：英特爾是x86的代表，為什么也會(huì)支持RISC-V，并且在早期就做出了很大的貢獻(xiàn)？

段建鋼：我們實(shí)際上是在尋找一個(gè)交集，AI有單獨(dú)的一個(gè)范疇。我們經(jīng)常碰到一個(gè)問(wèn)題，當(dāng)我們要做一個(gè)GPGPU，就會(huì)有很多人提出質(zhì)疑——為什么是RISC-V和AI的結(jié)合？事實(shí)上，AI是一個(gè)不斷發(fā)展的領(lǐng)域，未來(lái)的AI會(huì)是什么樣子，還沒(méi)有很好的定義，這意味著可能有更多的創(chuàng)新機(jī)會(huì)。

但我們知道，對(duì)于AI來(lái)說(shuō)，它需要的是一個(gè)很大的軟硬件結(jié)合的優(yōu)化解決方案。從軟件方面來(lái)看，新的Triton或者PyTorch等新的編程語(yǔ)言出現(xiàn)，是為了更直接、方便地去開(kāi)發(fā)一些算子。

當(dāng)然，這些嘗試不一定能夠成功，最終成功與否還要看工業(yè)界的發(fā)展、生態(tài)的發(fā)展，以及社區(qū)的努力。

戴偉民：梁中書(shū)是阿里巴巴的技術(shù)專家，也曾就職于英偉達(dá)，你對(duì)這個(gè)持什么觀點(diǎn)？

梁中書(shū)：毫無(wú)疑問(wèn)RISC-V現(xiàn)在最重要的方向就是AI。早年的AI主要聚焦在“訓(xùn)練”方面，但未來(lái)幾年，“推理”的需求會(huì)更旺盛，“RISC-V+AI”的趨勢(shì)是非常明顯的。那么，如何做好“RISC-V+AI”生態(tài)呢？從硬件的角度來(lái)看，我們都在追求算力的能效比，所以AI的算力必然會(huì)走向端用化。

當(dāng)然，目前業(yè)界最主要的還是“緊耦合”的模式，但未來(lái)AI大算力芯片應(yīng)該是“松耦合”的狀態(tài)，也就是“RISC-V+相關(guān)AI加速器”。換言之，AI某種程度上很可能是個(gè)性化的應(yīng)用，它需要支持好“加速”模式，而一個(gè)高效、完整的擴(kuò)展指令接口，包括工具鏈的支持、相關(guān)基本軟件庫(kù)的適配，可以助推“松耦合”AI大算力芯片的發(fā)展。

投票

問(wèn)題：預(yù)計(jì)RISC-V+AI生態(tài)何時(shí)可以“撼動(dòng)”或者達(dá)到CUDA生態(tài)的規(guī)模？

段建鋼：我覺(jué)得要看我們?cè)趺炊x“撼動(dòng)生態(tài)”，這個(gè)比較含糊。因?yàn)閺挠脩舻慕嵌葋?lái)講，其實(shí)越往上用戶越多，現(xiàn)在最能賺錢(qián)的AI爆款應(yīng)用還沒(méi)出現(xiàn)，我覺(jué)得得等商業(yè)模式更清晰的時(shí)候，從應(yīng)用爆點(diǎn)切入也許還有可能，但從找到一個(gè)軟件棧完全跟CUDA能夠達(dá)到一樣的效果，這個(gè)確實(shí)從技術(shù)上來(lái)講我覺(jué)得比較難。

戴偉民：說(shuō)到應(yīng)用，ChatGPT出來(lái)之前都是“弱智能”，現(xiàn)在Transformer下的AIGC實(shí)現(xiàn)了“強(qiáng)智能”，我認(rèn)為被這波“強(qiáng)智能”第一個(gè)顛覆的將是教育行業(yè)——我們不需要背答案的人，而需要提問(wèn)題的人，因此在“個(gè)性化教育、普惠教育”的背景下，AI-Pad將是一個(gè)很好的抓手，所以對(duì)RISC-V來(lái)說(shuō)，我們更需要往中高端市場(chǎng)去發(fā)力，和安卓做好適配。那么，從家長(zhǎng)的角度來(lái)看，賦能教育的AI-Pad到底應(yīng)該擁有哪些功能呢？

汪志偉：市場(chǎng)上Pad產(chǎn)品已經(jīng)很多了，價(jià)格區(qū)間從800元到4000元不等。但我認(rèn)為過(guò)去硬件引領(lǐng)軟件下所謂的“智能教育”的智能化程度是偏低的，現(xiàn)在變成軟件引領(lǐng)硬件，硬件能力相對(duì)于智能化的需求是偏弱的。要讓AI-Pad有競(jìng)爭(zhēng)力，我認(rèn)為一方面AI算力需要提升，可以借助RISC-V這樣一個(gè)開(kāi)放、靈活、可擴(kuò)展的CPU架構(gòu)來(lái)擴(kuò)展AI算力；另一方面需要支持安卓操作系統(tǒng)，便于廣大的用戶、開(kāi)發(fā)者在這上面開(kāi)發(fā)軟件，實(shí)現(xiàn)應(yīng)用軟件層面的智能化提升，比如語(yǔ)音、手勢(shì)等姿態(tài)的交互能力，解答問(wèn)題、分析評(píng)價(jià)的能力等。

戴偉民：很重要的是“個(gè)性化”，學(xué)習(xí)的人打瞌睡了你還在講，那不行；如果他/她學(xué)得很有成就，獎(jiǎng)勵(lì)其玩10分鐘游戲也是應(yīng)該的，這個(gè)其實(shí)要求蠻高的?，F(xiàn)在技術(shù)都有，但在終端垂直領(lǐng)域個(gè)性化的大模型需要微調(diào)和推理。至于怎么去推理和微調(diào)，RISC-V能否支撐起AI-Pad對(duì)CPU的焦點(diǎn)需求，我想聽(tīng)聽(tīng)彭博士的看法。

彭劍英：在AI智能終端的定位方面，我認(rèn)為2000-3000元價(jià)位的AI-Pad就像是“小房子”，5000-6000元價(jià)位的AI-Pad則是“大房子”，它們對(duì)SoC的架構(gòu)的需求是不一樣的。而未來(lái)評(píng)價(jià)AI-Pad好壞最核心的因子也不是基礎(chǔ)的CPU性能，而是這個(gè)CPU能不能支撐未來(lái)在AI方面的擴(kuò)展。

這幾年RISC-V生態(tài)發(fā)展很快，包括在算力或者CPU內(nèi)核在性能上的不斷提升，已經(jīng)可以往主流應(yīng)用去走，這對(duì)于RISC-V是巨大的機(jī)會(huì)，因?yàn)镽ISC-V最大的優(yōu)勢(shì)就是可擴(kuò)展性，能為這些應(yīng)用提供更強(qiáng)的AI能力。

戴偉民：段總在英特爾曾經(jīng)也看過(guò)教育，而且聽(tīng)說(shuō)你的小孩也是很優(yōu)秀的，你能否談一下你想象中的AI-Pad最重要的三個(gè)點(diǎn)？

段建鋼：從家長(zhǎng)的角度來(lái)講，我希望能夠提供一個(gè)安全可控的，幫助他/她去探索和了解世界的一個(gè)渠道。小朋友理解世界的方式和大人是不一樣的，他/她的文字能力不是太好，更希望通過(guò)語(yǔ)言和AI引擎對(duì)話，所以我們是否能夠提供一個(gè)方式，一方面針對(duì)有限的領(lǐng)域和知識(shí)集引導(dǎo)他/她們，培養(yǎng)他們對(duì)這個(gè)世界的熱情；另一方面提供給家長(zhǎng)一個(gè)參與和了解他們探索過(guò)程的輔助能力。這些新的創(chuàng)新和應(yīng)用，我覺(jué)得就需要新的軟件、新的模型、新的算力來(lái)支撐。

投票

問(wèn)題：從家長(zhǎng)的角度來(lái)看，希望AI-Pad有哪些功能？（選三項(xiàng)）

問(wèn)題：從家長(zhǎng)的角度來(lái)看，什么價(jià)位的AI-Pad是合理的？（單選）

彭劍英：不能選太貴的CPU，所以選RISC-V最合適，性價(jià)比最高。

戴偉民：除了以上提到的消費(fèi)電子外，我們來(lái)看車(chē)端，高通、博世、英飛凌等幾家做RISC-V是為了汽車(chē)，這一次“RISC-V歐洲峰會(huì)”上也特別講到了“汽車(chē)”的事情。最近芯原做了一個(gè)5nm車(chē)規(guī)芯片，德國(guó)一家非常有名的公司跟我們談，他說(shuō)：“我不要做一大顆芯片，我希望把它分開(kāi)做，你會(huì)做CPU、他會(huì)做GPU、他會(huì)做AI，最好幾個(gè)人來(lái)領(lǐng)。比如一個(gè)車(chē)型需要50Tops的AI算力，今天這個(gè)CPU可以是Arm、x86，也可以是RISC-V，當(dāng)然這個(gè)接口我們事先有標(biāo)準(zhǔn)。所以我想請(qǐng)問(wèn)彭總，從MCU的角度來(lái)看，RISC-V是否有可能實(shí)現(xiàn)上車(chē)？”

彭劍英：今年6月底在慕尼黑開(kāi)的“RISC-V歐洲峰會(huì)”，蠻多內(nèi)容都跟“RISC-V上車(chē)”相關(guān)。

以英飛凌的一個(gè)演講為例，我們知道英飛凌之前一直是自研的，如今他們也投了5家企業(yè)。從各種信息可以看到，他們下一代ECU或者下一代車(chē)規(guī)的CPU平臺(tái)就是基于定制化的RISC-V的。為什么英飛凌占據(jù)世界第一的位置，依然有決心在早期投入到RISC-V？

我自己的理解是，現(xiàn)在汽車(chē)電子面臨巨大轉(zhuǎn)型，軟件定義汽車(chē)芯片正在成為未來(lái)趨勢(shì)。2010年之前大家追求的是性能，當(dāng)時(shí)面臨著的是16位升級(jí)到32位；現(xiàn)在強(qiáng)調(diào)的是“軟件和AI”，如果不主動(dòng)擁抱變化，就會(huì)被拋棄。至于為什么選擇RISC-V？他們也是認(rèn)為RISC-V實(shí)際上是一個(gè)開(kāi)放的環(huán)境，它的可擴(kuò)展性、可模塊化，適用于在未來(lái)一顆芯片或者整個(gè)汽車(chē)電子不同模塊的芯片，可以用同一個(gè)ISA、不同的微架構(gòu)實(shí)現(xiàn)的核心來(lái)統(tǒng)一滿足需求。以汽車(chē)電子ECU為例，系統(tǒng)管理有一個(gè)核心，計(jì)算、加速器可能會(huì)有1-4個(gè)核心，AI-ECU可能會(huì)有N個(gè)核心。換言之，未來(lái)的車(chē)載ECU對(duì)CPU的性能要求不再是簡(jiǎn)單對(duì)標(biāo)MCU，而是需要一系列的覆蓋，那就意味著不僅僅是對(duì)IP選型的問(wèn)題，而是對(duì)整個(gè)軟件生態(tài)整個(gè)兼容性的問(wèn)題。但對(duì)于RISC-V來(lái)講，整個(gè)軟件是兼容的，所以這是一個(gè)巨大的優(yōu)勢(shì)。

其實(shí)現(xiàn)在不僅是英飛凌有所動(dòng)作，瑞薩電子也在做內(nèi)部的一些RISC-V項(xiàng)目研究?？傮w上我認(rèn)為汽車(chē)電子正面臨巨大的轉(zhuǎn)型，這對(duì)RISC-V來(lái)講是一個(gè)機(jī)會(huì)。

芯來(lái)從2021年就開(kāi)始做車(chē)規(guī)產(chǎn)品，2023年7月，芯來(lái)NA900系列的成功認(rèn)證使芯來(lái)科技成為了全球首家獲得ISO26262 ASIL-D產(chǎn)品認(rèn)證的RISC-V CPU IP廠商，今年芯來(lái)NA300系列也獲得了認(rèn)證。確實(shí)，新能源汽車(chē)賽道給整個(gè)產(chǎn)業(yè)鏈帶來(lái)了一次巨大的機(jī)會(huì)和時(shí)間窗口，對(duì)我們來(lái)說(shuō)，已經(jīng)從“0”踏入了一個(gè)相對(duì)來(lái)講探索的階段，國(guó)內(nèi)和國(guó)際頭部的激光雷達(dá)、毫米波雷達(dá)廠商已經(jīng)在量產(chǎn)基于芯來(lái)IP的ASIL-B和ASIL-D產(chǎn)品。

汪志偉：第一代特斯拉的時(shí)候單顆芯片算力只有36TOPS，如今已經(jīng)達(dá)到500TOPS，未來(lái)可能會(huì)更高。Chiplet要解決的一個(gè)最大的問(wèn)題就是AI算力需求問(wèn)題，過(guò)去兩年芯原在汽車(chē)電子領(lǐng)域做的不錯(cuò)，尤其是在ADAS領(lǐng)域，設(shè)計(jì)能力已經(jīng)屬于業(yè)界領(lǐng)先水平。為了滿足進(jìn)一步的算力需求，我們跟RISC-V四大家的芯片大廠中的兩家（是我們的客戶）都有討論。你切成幾顆大的，怎么切？要解決可靠性、散熱、安全等問(wèn)題，那么我們要回到Chiplet在車(chē)上最主要解決的問(wèn)題是什么？其實(shí)，最關(guān)鍵的是解決神經(jīng)網(wǎng)絡(luò)，尤其是現(xiàn)在這種大模型LLaMA2，以及在邊緣端和車(chē)端的推理，有很多工作要做，當(dāng)然首先要解決的還是AI算力問(wèn)題。在逐漸收斂的過(guò)程中，芯原認(rèn)為需要簡(jiǎn)化方案，AI算力不夠怎么辦？拓展算力再加上一個(gè)NPU的Chiplet，NPU的Chiplet可以再來(lái)300TOPS、500TOPS，甚至1000TOPS；另外可能還要加一個(gè)Chiplet，就是AISP，因?yàn)槭袌?chǎng)上有些芯片的AI算力只能支持兩路、四路，或者最多到六路、八路攝像頭，但是現(xiàn)在新能源車(chē)上用的攝象頭越來(lái)越多，12路攝像頭是普遍的，怎么辦？可能要加一個(gè)Chiplet來(lái)擴(kuò)展AI算力，加上對(duì)AI的處理。我們現(xiàn)在看到的，2-3顆Chiplet是比較現(xiàn)實(shí)可行的一個(gè)針對(duì)自動(dòng)駕駛的解決方案。

投票

問(wèn)題：預(yù)計(jì)RISC-V芯片何時(shí)可以在汽車(chē)上獲得普遍采用？（單選）

問(wèn)題：基于Chiplet的高端車(chē)規(guī)芯片預(yù)計(jì)何時(shí)會(huì)成為主流？（單選）

戴偉民：我認(rèn)為AI-Pad是非常有市場(chǎng)的，而且當(dāng)Pad出來(lái)后，一定要聯(lián)合教育軟件公司做線上線下的配合，做成真正的智慧設(shè)備，同時(shí)把軟件生態(tài)搞起來(lái)。

此外，在“上車(chē)”方面，我們看到，芯來(lái)的小MCU已經(jīng)“上車(chē)”了，現(xiàn)在我們要看能不能盡快把Chiplet在自動(dòng)駕駛上推動(dòng)起來(lái)。