1051
繼去年11月推出天璣9300，率先將生成式人工智能（AI）帶入到智能手機(jī)端之后，芯片大廠聯(lián)發(fā)科（MediaTek）為了引領(lǐng)移動(dòng)生態(tài)抓住“生成式AI手機(jī)”市場機(jī)遇，近日召開了首屆“天璣開發(fā)者大會(huì)”（MDDC 2024），并攜手合作伙伴共建“生成式AI手機(jī)”標(biāo)準(zhǔn)與天璣移動(dòng)AI生態(tài)，加速推動(dòng)?“生成式AI手機(jī)”的普及。
“生成式AI手機(jī)”，下一個(gè)廠商必爭之地
從功能單一且封閉的功能機(jī)，到以iPhone為開端的智能手機(jī)興起，不僅帶來了豐富的應(yīng)用及服務(wù)生態(tài)，也改變了用戶的交互方式，比如物理按鍵被淘汰，觸摸屏成為主流，并進(jìn)一步像語音交互發(fā)展，主流終端廠商都已選擇通過內(nèi)置語音助手，以帶來更流暢且高效的交互體驗(yàn)，但由于終端算力、語義理解等方面仍存在限制，用戶的使用范圍往往停留在輕量級(jí)系統(tǒng)交互上。
2023年，以ChatGPT為代表的各類生成式AI應(yīng)用日益受到關(guān)注，其憑借大語言模型（LLM）的加持，展現(xiàn)出卓越的性能表現(xiàn)。這也使得產(chǎn)業(yè)界相信，隨著生成式AI進(jìn)入手機(jī)端，將有望徹底變革智能手機(jī)體驗(yàn)。在生成式AI加持下，智能手機(jī)將能夠與用戶完成自然交互與溝通，理解并執(zhí)行用戶的各種復(fù)雜指令。這將極大提升智能手機(jī)用戶的娛樂生活體驗(yàn)和智能手機(jī)的生產(chǎn)力屬性。比如，生成式AI手機(jī)可以生成用戶需要的圖表、文本、音樂、圖片甚至是視頻，也可以根據(jù)用戶的需要對輸入的圖片、視頻進(jìn)行編輯。
雖然智能手機(jī)通過網(wǎng)絡(luò)能夠獲取云端強(qiáng)大的生成式AI能力，但是由于需要將數(shù)據(jù)上傳到云端處理后返回相關(guān)推理結(jié)果，因此也存在著個(gè)人隱私數(shù)據(jù)安全、高時(shí)延、離線不可用等諸多問題。如果將AI大模型放到端側(cè)直接運(yùn)行，則可以有效的避免上述問題。另外，如果智能手機(jī)全部都依賴于云端算力和網(wǎng)絡(luò)傳輸來獲取生成式AI能力的話，那么勢必會(huì)給上游的云服務(wù)廠商和電信網(wǎng)絡(luò)帶來巨大的投資成本壓力，而這些成本最終會(huì)轉(zhuǎn)嫁給消費(fèi)者，這無疑將阻礙生成式AI的普及。如果能夠利用智能手機(jī)自身的算力來運(yùn)行生成式AI應(yīng)用，不僅可以幫助上游廠商通過利用端側(cè)的算力來節(jié)省大量的基礎(chǔ)設(shè)施投資，也能夠讓終端用戶具備無需付費(fèi)也能在離線狀態(tài)下安全的使用生成式AI的能力。
根據(jù)市場調(diào)研機(jī)構(gòu)Counterpoint Research的數(shù)據(jù)顯示，近年來旗艦智能手機(jī)以 TOPS 為單位的 AI 算力已經(jīng)增長了 20 倍。預(yù)計(jì)2027年旗艦智能手機(jī)的芯片峰值 AI 算力水平將會(huì)達(dá)到 65TOPS 左右。
智能手機(jī)端側(cè)AI算力持續(xù)增長，并擁有龐大的出貨量和用戶基數(shù)以及豐富的應(yīng)用生態(tài)，在用戶隱私保護(hù)、多模態(tài)輸入輸出和情境感知等方面所具備的優(yōu)勢，使得智能手機(jī)成為了生成式AI在端側(cè)落地的最佳載體。
隨著生成式AI技術(shù)與智能手機(jī)的深度融合，生成式AI手機(jī)在不斷學(xué)習(xí)用戶的行為習(xí)慣之后，將會(huì)孕育出一個(gè)甚至多個(gè)智能生命體（AI Agent)，能夠智能識(shí)別用戶意圖，適時(shí)向用戶推薦個(gè)性化的內(nèi)容和服務(wù)。
總結(jié)來說，?“生成式AI手機(jī)”的普及已經(jīng)是大勢所趨。據(jù)Counterpoint Research最新報(bào)告顯示，在2023 全年出貨的 11.7 億手機(jī)中，只有420萬臺(tái)屬于生成式AI手機(jī)。但是，在智能手機(jī)產(chǎn)業(yè)鏈上下游積極擁抱生成式AI變革的推動(dòng)下，各大智能手機(jī)廠商也將生成式 AI 能力作為中高端產(chǎn)品升級(jí)的重點(diǎn)，這將加速生成式 AI 手機(jī)的全面普及。預(yù)計(jì)從2025年開始，所有中高端智能手機(jī)的新品都會(huì)具備生成式AI功能。從滲透率來看，預(yù)計(jì)2024年，生成式AI手機(jī)在整體智能手機(jī)出貨量當(dāng)中占比將達(dá)到11%，并將在2027年進(jìn)一步增長到43%，屆時(shí)生成式AI手機(jī)的出貨量將超過12.3億部。
顯然，生成式AI手機(jī)將是智能手機(jī)進(jìn)化的下一形態(tài)，存在著巨大的市場機(jī)遇，這也將成為手機(jī)廠商能否在新一輪競爭中勝出的關(guān)鍵。
定義“生成式AI手機(jī)”標(biāo)準(zhǔn)，推動(dòng)應(yīng)用生態(tài)加速發(fā)展
目前，聯(lián)發(fā)科、高通都有推出支持端側(cè)生成式AI的手機(jī)處理器，vivo、OPPO、小米等手機(jī)廠商也都有推出搭載這些處理器的旗艦手機(jī)。蘋果今年下半年即將推出搭載其最新的A18 Pro處理器的iPhone 16系列，預(yù)計(jì)也將支持端側(cè)生成式AI。雖然大家都認(rèn)為生成式AI手機(jī)是大勢所趨，但是各家廠商對于生成式AI手機(jī)都有著自己的理解，這樣普通消費(fèi)者對生成式AI手機(jī)就缺少比較明確的概念和認(rèn)知，。
正所謂“一流企業(yè)做標(biāo)準(zhǔn)、二流企業(yè)做品牌、三流企業(yè)做產(chǎn)品。”作為全球智能手機(jī)芯片出貨量最大的廠商，聯(lián)發(fā)科自2017年就已經(jīng)開始布局AI領(lǐng)域，以天璣旗艦移動(dòng)平臺(tái)站穩(wěn)高端市場的同時(shí)，憑借其強(qiáng)大的APU獨(dú)步端側(cè)AI領(lǐng)域，去年聯(lián)發(fā)科更是率先推出了能夠支持最高330億參數(shù)大模型的天璣9300旗艦芯片，發(fā)力“生成式AI手機(jī)”市場，并被多家品牌廠商的旗艦機(jī)率先采用。但是對于聯(lián)發(fā)科來說，要想引領(lǐng)仍處于萌芽狀態(tài)的“生成式AI手機(jī)”市場加速普及，光有領(lǐng)先產(chǎn)品只是打好了硬件基礎(chǔ)，攜手合作伙伴來共同定義生成式AI手機(jī)標(biāo)準(zhǔn)，并大力發(fā)展基于天璣平臺(tái)的生成式AI應(yīng)用生態(tài)，無疑是一步領(lǐng)先對手的好棋。
在近日的天璣開發(fā)者大會(huì)（MDDC 2024）上，聯(lián)發(fā)科與市場研究機(jī)構(gòu)Counterpoint一起，攜手阿里云通義千問、百川大模型、虎牙、酷狗、零一萬物、OPPO、Soul、AI Lab、混元、vivo等生態(tài)伙伴，發(fā)布了《生成式AI手機(jī)產(chǎn)業(yè)白皮書》，共同對于“生成式AI手機(jī)”的概念和典型特征進(jìn)行定義。
根據(jù)該白皮書顯示，生成式AI手機(jī)需要具備如下必要特征：1、支持大模型的本地部署，或是通過云端協(xié)同的方式執(zhí)行復(fù)雜的生成式AI任務(wù)。生成式AI手機(jī)本身具備強(qiáng)大的AI算力，無須完全依賴云端服務(wù)器；2、具備多模態(tài)能力，即可以處理文本、圖像、語音等多種形式的內(nèi)容輸入，以生成各種形式的輸出，典型用例如翻譯、圖像生成和視頻生成等；3、確保流暢、無縫的用戶體驗(yàn)，設(shè)備能夠以自然而直觀的交互方式，快速響應(yīng)用戶的請求。
除此之外，生成式AI手機(jī)還需要擁有實(shí)現(xiàn)上述特征的硬件規(guī)格，包括但不限于基于領(lǐng)先工藝和先進(jìn)架構(gòu)設(shè)計(jì)的移動(dòng)計(jì)算平臺(tái)，擁有集成或者獨(dú)立的神經(jīng)網(wǎng)絡(luò)運(yùn)算單元（如APU/NPU/TPU），大容量和高帶寬的內(nèi)存，以及穩(wěn)定和高速的連接，硬件級(jí)和系統(tǒng)級(jí)的安全防御。
聯(lián)發(fā)科技無線通信事業(yè)部副總經(jīng)理陳一強(qiáng)表示，在生成式AI快速發(fā)展期，對于“生成式AI手機(jī)”給出更為明確的參數(shù)指標(biāo)要求是比較困難的。比如，幾個(gè)月前的20億參數(shù)的大模型已經(jīng)比半年前70億參數(shù)的大模型還聰明很多，所以在這個(gè)時(shí)期用具體的TOPS算力或者能做到什么樣的功能去評(píng)估一個(gè)量化的標(biāo)準(zhǔn)，并不是很好的方式。
確實(shí)，目前在“生成式AI手機(jī)”剛開始的階段，各類技術(shù)仍在快速發(fā)展，很難用一些明確的參數(shù)指標(biāo)來對于生產(chǎn)式AI手機(jī)進(jìn)行定義。因此，現(xiàn)階段聯(lián)發(fā)科對于生成式AI手機(jī)的定義，主要還是往應(yīng)該具備哪些能力方向來進(jìn)行定義。
聯(lián)發(fā)科認(rèn)為，生成式AI會(huì)改變手機(jī)的交互方式，徹底顛覆手機(jī)應(yīng)用的模式，包括整個(gè)軟件系統(tǒng)架構(gòu)的設(shè)計(jì)。所以聯(lián)發(fā)科和整個(gè)生態(tài)一起聯(lián)合定義，嘗試做這定性的分析。陳一強(qiáng)表示，?“我們并不是只是分析和定義，而是站出來跟所有的生態(tài)廠商一起合作，讓這些概念真正能夠去落地，包括我們今天推出的所有工具，就是希望應(yīng)用廠商在看到《白皮書》的大方向之后，到年底或者明年初就把能夠?qū)崿F(xiàn)類似定義的生成式AI應(yīng)用變成現(xiàn)實(shí)?！?/p>
生成式AI技術(shù)創(chuàng)新，離不開芯片廠商支持
目前各類AI大模型可謂是百花齊放、并且仍在快速迭代，而手機(jī)所支持的端側(cè)AI大模型仍相對較少，配套的生成式AI應(yīng)用和服務(wù)則更是少的可憐，基本都還是云端生成式AI的那一套?？梢哉f，生成式AI手機(jī)目前的生態(tài)仍處于一片“百業(yè)待舉”的階段，如果要發(fā)展起來，必然是需要攜手眾多應(yīng)用開發(fā)廠商和開發(fā)者，來開發(fā)專屬于生成式AI手機(jī)的原生應(yīng)用和服務(wù)。這也正是聯(lián)發(fā)科此次召開首屆“天璣開發(fā)者大會(huì)”的目的。
對于主控芯片廠商來說，通過舉辦開發(fā)者大會(huì)等形式來發(fā)展基于自家芯片的應(yīng)用生態(tài)可以說是很常見，但是作為頭部手機(jī)芯片廠商的聯(lián)發(fā)科舉辦了天璣開發(fā)者大會(huì)，這在移動(dòng)行業(yè)卻是頭一遭。在“天璣開發(fā)者大會(huì)”的論壇環(huán)節(jié)，百川智能CEO、前搜狗CEO王小川就坦言，以前作為互聯(lián)網(wǎng)應(yīng)用廠商根本都不用去找手機(jī)芯片廠商合作，但是到了生成式AI手機(jī)階段，作為AI大模型或者AI應(yīng)用廠商就不得不要來跟手機(jī)芯片廠商直接合作了，因?yàn)槲覀冃枰謾C(jī)芯片廠商提供足夠的AI算力來支持我們，需要手機(jī)芯片廠商開放他們的AI芯片的能力給到我們，不然我們就無法提供出色端側(cè)生成式AI體驗(yàn)。
聯(lián)發(fā)科技無線通信事業(yè)部生態(tài)發(fā)展資深總監(jiān)章立指出，當(dāng)APP應(yīng)用走到端側(cè)AI大模型這種應(yīng)用生態(tài)的時(shí)候，確實(shí)已經(jīng)到了要去向終端芯片要算力的階段。
不論是對于手機(jī)品牌廠商、大模型技術(shù)廠商，還是對于生成式AI應(yīng)用開發(fā)者來說，如果他們的創(chuàng)新需要芯片層級(jí)的技術(shù)來支持，那么他們就一定會(huì)選擇和芯片公司來直接合作，因?yàn)檫@樣可以盡量彌合不同智能手機(jī)品牌、不同機(jī)型之間的技術(shù)差異。特別是對于生成式AI應(yīng)用的開發(fā)者來說，需要從芯片的底層來發(fā)掘如何利用移動(dòng)平臺(tái)的先進(jìn)技術(shù)打造創(chuàng)新的用戶體驗(yàn)?？偨Y(jié)來說就是，當(dāng)開發(fā)者要想做到生成式AI的深度技術(shù)創(chuàng)新，那么就離不開芯片公司的支持。
而對于聯(lián)發(fā)科來說，為應(yīng)對生成式AI對于移動(dòng)生態(tài)所帶來的全新變革，在去年就已經(jīng)開始了主動(dòng)與眾多的OEM、大模型廠商、應(yīng)用廠商和開發(fā)者進(jìn)行了深度合作與探討。比如，思考如何幫助大模型廠商在端側(cè)更高效、更快速、更容易的部署大模型，思考如何幫助OEM廠商和應(yīng)用開發(fā)者們借助生成式AI帶來應(yīng)用、服務(wù)和用戶體驗(yàn)上的創(chuàng)新。
天璣AI開發(fā)套件助力“生成式AI手機(jī)”生態(tài)加速起飛
對于生成式AI手機(jī)這樣一個(gè)全新的“物種”來說，配套的軟硬件生態(tài)都還處于起步階段，勢必會(huì)面臨著眾多的挑戰(zhàn)。比如，終端硬件的多樣化，眾多品牌和機(jī)型，各自采用不同的芯片平臺(tái)和硬件配置，這會(huì)導(dǎo)致應(yīng)用的開發(fā)、移植和適配難度大；大模型端側(cè)運(yùn)行技術(shù)難度大，如果直接把訓(xùn)練好的大模型放到手機(jī)端，或者直接把依托于云端算力的生成式AI應(yīng)用移植到手機(jī)端來，可能會(huì)面臨運(yùn)行效率低、內(nèi)存占用過高、能耗過大等方面的問題。所以，如何能夠更簡單、更快速、更高效的優(yōu)化、部署和運(yùn)行成為關(guān)鍵問題；目前對于端側(cè)生成式AI開發(fā)者來說，針對性開發(fā)工具的缺乏，也導(dǎo)致了端側(cè)生成式AI應(yīng)用開發(fā)難度大。
為了解決這些難題，聯(lián)發(fā)科在此次“天璣開發(fā)者大會(huì)”上，還首次推出了終端生成式AI應(yīng)用開發(fā)一站式解決方案——天璣AI開發(fā)套件。據(jù)介紹，天璣AI開發(fā)套件主要包括Gen-AI Model Hub、Gen-AI最佳實(shí)踐、Gen-Al優(yōu)化技術(shù)和Neuron Studio四大模塊，可以為廣大開發(fā)者提供“快、全、強(qiáng)、易”的專業(yè)開發(fā)體驗(yàn)。
其中，“Gen-AI最佳實(shí)踐”包括了模型量化、模型編譯、模型推理相關(guān)技術(shù)，可以幫助開發(fā)者高效地進(jìn)行優(yōu)化、開發(fā)等工作，可將大模型的端側(cè)部署所需時(shí)間從原來的數(shù)周加速到只需有一天即可完成；
“Gen-AI Model Hub”則是一個(gè)模型庫，為開發(fā)者提供了包含Llama2 7B/13B、Llama2 8B、BaiChuan 2B/7B、SDXL-Turbo、SDXL+LCM、SD1.5、Llava 1.5 7B、Qwen 1.8B/4B等市面上的主流大模型資源；
“Gen-Al優(yōu)化技術(shù)”則率先支持多項(xiàng)關(guān)鍵優(yōu)化技術(shù)，包括推測解碼加速，可以使得Token生成加速2.2倍；LoRA融合技術(shù)可以使得功能包體積降低90%，下載速度提升10倍。這些優(yōu)化技術(shù)將可以幫助開發(fā)者高效地實(shí)現(xiàn)端側(cè)模型的性能優(yōu)化。
“Neuron Studio”則是聯(lián)發(fā)科專為開發(fā)者獨(dú)創(chuàng)的一套高度集成、一站式、且可視化的 AI 應(yīng)用開發(fā)環(huán)境，可以幫助開發(fā)者快速定位 BUG 及運(yùn)行性能分析，并使得開發(fā)環(huán)境變得更為直觀、易用，輕松實(shí)現(xiàn)更易用的開發(fā)體驗(yàn)。
總結(jié)來說，天璣AI開發(fā)套件是一套完整的開發(fā)工具鏈，全面覆蓋了終端生成式AI應(yīng)用開發(fā)的全部環(huán)節(jié)，提供了一站式的解決方案。并且，天璣AI開發(fā)套件目前已覆蓋智能手機(jī)、智能汽車、物聯(lián)網(wǎng)、個(gè)人電腦等智能終端設(shè)備，可以為全場景生成式AI應(yīng)用開發(fā)賦能。
率先構(gòu)建端側(cè)生成式AI生態(tài)，聯(lián)發(fā)科完成領(lǐng)先的一步好棋
需要指出的是，雖然去年英特爾、AMD都推出了PC端內(nèi)置生成式AI大模型的AI PC處理器，高通也推出了支持手機(jī)端AI大模型的驍龍8 Gen3，但截至目前它們依然還是停留在推產(chǎn)品的階段，相比之下，聯(lián)發(fā)科在推出支持端側(cè)生成式AI技術(shù)的天璣9300之后，就快速的進(jìn)入到了引領(lǐng)合作伙伴構(gòu)建生成式AI生態(tài)的階段，并且還面向開發(fā)者推出了目前市面上唯一的終端生成式AI應(yīng)用開發(fā)一站式解決方案——“天璣AI開發(fā)套件”，可謂是領(lǐng)先了競爭對手一大步。
如果說，英偉達(dá)是憑借其強(qiáng)大的CUDA生態(tài)才有如今的云端AI芯片市場的霸主地位，那么聯(lián)發(fā)科顯然也希望通過快速構(gòu)建起基于天璣平臺(tái)的端側(cè)生成式AI生態(tài)，借此在未來的生成式AI手機(jī)市場占據(jù)競爭優(yōu)勢。
聯(lián)發(fā)科無線通信事業(yè)部副總經(jīng)理李彥輯坦言，現(xiàn)在很多廠商都在發(fā)展自己在云端的工具鏈，但是英偉達(dá)應(yīng)該是最早的，它是擁有最完整的工具鏈的廠商。但是在端側(cè)生成式AI工具鏈方面，可以說是非常少，尤其在體量如此龐大的智能手機(jī)市場，其實(shí)是沒有工具鏈來支持端側(cè)生成式AI應(yīng)用開發(fā)的。今天聯(lián)發(fā)科是第一家推出完整的端側(cè)生成式AI開發(fā)工具鏈的廠商。李彥輯表示：“我非常相信，從端側(cè)出發(fā)的工具鏈，我們是居于比較領(lǐng)先的地位的。我們會(huì)向云端的英偉達(dá)的那些工具鏈去靠攏，我們會(huì)去學(xué)習(xí)，推動(dòng)整個(gè)工具鏈的完善和進(jìn)步?！?/p>
章立也進(jìn)一步指出，通過我們之前和開發(fā)者的交流了解到，他們面對生成式AI的機(jī)會(huì)都很興奮，都想要去做一些創(chuàng)新，但是缺乏工具，或者只有碎片化的工具，甚至很多環(huán)節(jié)還沒有工具。聯(lián)發(fā)科抓住了這么一個(gè)開發(fā)者急需解決的痛點(diǎn)，推出了天璣AI開發(fā)套件，是很好的第一步。未來隨著我們和開發(fā)者的持續(xù)磨合和反饋改進(jìn)，天璣AI開發(fā)套件將會(huì)持續(xù)快速迭代，我相信明年我們的工具會(huì)變得更強(qiáng)大，而且一定是面向開發(fā)者需求的。
為加速生態(tài)共建，在?“天璣開發(fā)者大會(huì)”上，聯(lián)發(fā)科還聯(lián)合阿里云、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米等生態(tài)伙伴共同啟動(dòng)了“天璣AI先鋒計(jì)劃”，該計(jì)劃面向全球開發(fā)者，致力于整合聯(lián)發(fā)科與產(chǎn)業(yè)生態(tài)伙伴資源為勇于探索和創(chuàng)新的開發(fā)者提供開發(fā)資源、技術(shù)支持和商業(yè)機(jī)會(huì)，助力開發(fā)者在天璣生態(tài)中打造創(chuàng)新的用戶體驗(yàn)。
“AI先鋒計(jì)劃包含兩部分：第一個(gè)環(huán)節(jié)是我們和一些模型、OEM廠商一起聯(lián)合構(gòu)建領(lǐng)先的生態(tài)基礎(chǔ)；再者就是跟所有的APP開發(fā)廠商，能夠在這樣的硬件基礎(chǔ)上，探索怎么樣開發(fā)新的生成式AI應(yīng)用。所以先鋒計(jì)劃基本上是希望能夠把開發(fā)資源釋放給這些應(yīng)用開發(fā)者，讓他們能夠加入并加速生態(tài)的構(gòu)建和發(fā)展?！崩顝┹嫿忉尩?。
陳一強(qiáng)則以面向游戲應(yīng)用的“星速引擎”為例指出：“開發(fā)者針對優(yōu)化了天璣9300，那所有搭載天璣9300的終端都可以有啟動(dòng)星速引擎的能力，但是如果沒有這樣的東西，就可能要一家一家手機(jī)廠商去適配。所以我們是希望作為底層的賦能者角色把大家拉在一起，尋求共識(shí)，讓大家比較能夠一起往同一個(gè)方向走。如果沒有這樣我們的角色，可能不同的生態(tài)角色都會(huì)有不同的策略方向，就會(huì)影響整個(gè)生成式AI手機(jī)生態(tài)的推進(jìn)。”、
不同于很多廠商從官宣到實(shí)際的合作落地需要較長的時(shí)間，在“天璣開發(fā)者大會(huì)”當(dāng)天場外的展示區(qū)域，就已經(jīng)有10多家的生成式AI應(yīng)用開發(fā)商展示了基于聯(lián)發(fā)科天璣9300系列的端側(cè)生成式AI應(yīng)用落地成果。這也足見聯(lián)發(fā)科對于攜手合作伙伴，快速構(gòu)建基于天璣平臺(tái)的“生成式AI”生態(tài)優(yōu)勢的決心。
“當(dāng)別人還在談夢想、談未來的時(shí)候，我們已經(jīng)在幫助這些開發(fā)者在端側(cè)落地了這些生成式AI的應(yīng)用?！崩顝┹嬚f道。
作者：芯智訊-浪客劍
下載ECAD模型
