移動計算的未來：是什么在推動變革？

楊凈 明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

智能手機之后的下一塊屏幕，到底會是什么？

AR隱形眼鏡？可做到隨時隨地在眼球上完成圖像計算，在直徑不到2cm的鏡片上，集成了圖像處理芯片、顯示控制和無線通信系統(tǒng)等。

AR眼鏡的無線設(shè)計參考也來了，智能手機和 AR 眼鏡之間可以對計算負載進行分配，二者的融合將會更為絲滑，不免讓人對消費級AR眼鏡抱有更多期待。

另一邊，ARM for PC也逐漸成為行業(yè)共識。ARM架構(gòu)的低功耗、低耗電優(yōu)勢被移植到PC端，從而打破移動PC“苦續(xù)航久矣”的局面。

不管是當(dāng)下火熱的元宇宙領(lǐng)域，還是上一代移動計算平臺，似乎不約而同地向著一個趨勢發(fā)展——移動性高、低功耗、長續(xù)航，還希望兼顧高性能。

而這些特性，不正是智能手機所具備的？同時也是它在十幾年內(nèi)成為主流移動計算平臺的最重要原因。

不知道什么時候開始，智能手機已經(jīng)不是各種移動計算平臺當(dāng)中的唯一主角了——至少從技術(shù)底層涌動的潮水來看，已經(jīng)再明顯不過。

新型移動計算平臺基于過往的升維和融合

我們確實已經(jīng)來到移動計算發(fā)展的新節(jié)點。

從定義來看，移動計算的范疇覆蓋了可移動設(shè)備各類型數(shù)據(jù)的產(chǎn)生、分享、顯示等全鏈條過程，其中的數(shù)據(jù)可能來源于人機交互，也可能來自于設(shè)備感知等層面。

當(dāng)下最普及的移動計算平臺非手機這一形態(tài)莫屬。

如今隨著5G和AI技術(shù)普及，人機交互進一步革新，設(shè)備感知形式也逐漸發(fā)生變化，并進一步催生出新型移動計算形態(tài)，如XR硬件、傳統(tǒng)PC更新。

首先來看5G，無論移動計算的平臺形態(tài)如何迭代，通信技術(shù)都是不可或缺的一環(huán)，甚至?xí)W(wǎng)絡(luò)連接提出更高質(zhì)量要求。

回望過去從2G、3G再到4G的發(fā)展，其實都聚焦于手機這一載體的應(yīng)用拓展。而來到5G，這種趨勢已悄然發(fā)生了變化。

標(biāo)準(zhǔn)制定組織3GPP最新釋出的5G功能，應(yīng)用場景不僅僅局限于手機，而是更加多元化。

而底層AI能力，則是驅(qū)動移動計算發(fā)展的另一大因素，能保證移動設(shè)備在有限算力和電源的條件下，具備足夠的數(shù)據(jù)處理能力，以應(yīng)對多元化的場景，比如游戲、娛樂、拍照等與我們生活息息相關(guān)的功能。

在智能化、數(shù)字化的當(dāng)下，AI無疑成為了各大平臺廠商、芯片供應(yīng)商爭相競逐的對象。

于是，移動計算隨著5G和AI的自然拓展和遷移，并催生了具有更新、更好體驗的全新平臺，也就變得順理成章了。

而如果將5G當(dāng)做一種基礎(chǔ)能力，以AI能力為劃分，移動計算的發(fā)展方向大致還可以分成兩類：一類是升維，一類是融合。

先說升維，以基于XR設(shè)備的移動計算平臺為典型。人類幾千年傳播信息的媒介，無外乎都是二維、平面的介質(zhì)；而元宇宙的XR設(shè)備，直接將二維升成了三維。我們存在的整個空間都變成虛擬化和可計算。這對底層的算法、算力提出了更高的要求。

拿我們最能感知到的視覺算法來說，手機主要聚焦于二維拍照的場景，包括人臉檢測、超分降噪、畫質(zhì)增強、超清人像等。

以高通這一底層玩家為例，驍龍平臺的高通AI引擎屢屢在這方面進階：目前的第七代高通AI引擎已經(jīng)將面部特征識別點增加到了300個，人臉檢測速度相比上一代提升300%，還有像多幀降噪、局部運動補償?shù)裙δ堋?/p>

而來到XR設(shè)備端，一戴上即開始全場景實時計算，包括位置跟蹤、3D對象跟蹤、平面檢測、空間映射和網(wǎng)格化、場景理解等；不僅算法從二維升階到三維，還對真實性、低時延提出了更高的要求。

另一類則是融合，這一趨勢又以基于PC的移動計算為典型。隨著移動辦公、遠程辦公的需求興起，PC端市場在這幾年中正在迎來前所未有的增長。去年一年，全球PC市場創(chuàng)下了近十年來最大出貨量，達到3.41億臺。

值得注意的是，且不說一些芯片玩家開始ARM for PC，就是更多手機廠商、互聯(lián)網(wǎng)廠商也紛紛在布局平板、筆記本產(chǎn)品，軟件開發(fā)者們也開始在打破移動與PC之間的邊界。

各種原因，其實不難理解，就是融合生態(tài)的優(yōu)勢。移動手機的發(fā)展如火如荼，PC價值又無法替代。不如兩者打通、無縫切換，實現(xiàn)全場景的覆蓋。

這一點已成為業(yè)界共識。比如為了更好的“融合”，一些廠商原本在手機端的一些算法，比如視頻會議時的面部識別、語音識別以及端側(cè)AI加速等逐漸遷移到了PC端，還有像多屏協(xié)同、通用控制等新興功能，正在成為生產(chǎn)力必備。

綜上不難看出，以AI為驅(qū)動的移動計算的發(fā)展演變，正從基于手機這種單一形態(tài)，走向基于手機、XR、新型移動PC等終端或平臺的多融合、多場景，而且速度迅猛。以XR設(shè)備為例，根據(jù)Counterpoint今年1月的數(shù)據(jù)，預(yù)計2025年，XR頭顯出貨量將達到1.05億臺，相較2021年的1100萬臺增長10倍。

但如何走怎么走，以及一些尚待解決的技術(shù)問題，比如算力、算法以及架構(gòu)兼容等，都是企業(yè)不小的難題，也將影響著未來移動計算的發(fā)展迭代。

怎么看未來移動計算的發(fā)展迭代？

從外在形式來看，移動計算的當(dāng)下與未來，似乎落在了智能手機、XR設(shè)、移動PC等表現(xiàn)形式各異的硬件上。

但無論用于移動計算的終端或平臺形態(tài)如何變化，決定根本屬性的要素依舊是芯片、底層軟件和算法。

作為當(dāng)下移動計算平臺的代表，智能手機的技術(shù)路線已經(jīng)發(fā)展成熟，且其移動計算能力也還在不斷迭代升級。

由此一來，關(guān)于“移動計算下一步該如何走”的問題，便不再完全是以0為起點的技術(shù)開創(chuàng)，而更多是如何讓已有技術(shù)實現(xiàn)跨界遷移。

具體該怎么做？

行業(yè)玩家高通給出了一種技術(shù)路線參考——將始于智能手機的通用硬件架構(gòu)和軟件特性作為關(guān)鍵因素，逐步擴展至XR、PC等新型移動計算平上。

而這條路線的最底層能力，還要從5G和AI看起。

一方面，兩者驅(qū)動下，手機端的人機交互方式不再局限于觸摸屏幕。

如語音助手、手勢交互等功能，他們基于NLP、CV技術(shù)，實現(xiàn)了更符合人類自然信息交流方式的人機交互，并激發(fā)出了很多前所未有的應(yīng)用。如第七代高通AI引擎，可以實現(xiàn)通過分析用戶聲音判斷其心情是否抑郁、身體是否健康。

但是這些大量AI應(yīng)用數(shù)據(jù)要在移動計算平臺上快速傳輸，這也就要求平臺同時具備強大的5G通信能力。

而這些在智能手機上“錦上添花”的功能，放到XR設(shè)備上則可能會是剛需，對5G能力的要求也會進一步增強。

另一方面，海量算法加持讓手機性能一再突破極限。

比如攝像方面，降噪、自動對焦、使用濾鏡、8K HDR等功能都可在算法的加持下實現(xiàn)，這些成為了手機拍攝大片的關(guān)鍵。

游戲方面，利用深度學(xué)習(xí)超級采樣技術(shù)（DLSS），手機上也能提取渲染場景的多維特征，并智能的組合多幀畫面細節(jié)來構(gòu)造高質(zhì)量圖像，實現(xiàn)超越傳統(tǒng)渲染的性能，比如云渲染了解一下，這就對5G和AI有著更高維的技術(shù)要求。

還有信號穩(wěn)定傳輸、電池續(xù)航等問題，也能通過AI來智能優(yōu)化。

這些方法思路同樣可以用在XR設(shè)備、移動PC上來提升性能。

實際上，以AI作為共通的底層能力，為智能手機、XR設(shè)備、移動PC提供技術(shù)驅(qū)動，是行業(yè)內(nèi)已經(jīng)認可的技術(shù)路線。

比如，基于“統(tǒng)一的技術(shù)路線圖”，高通的AI能力已經(jīng)逐步滲透到XR、PC等幾乎所有類型的終端。

XR領(lǐng)域，Meta Oculus、微軟Hololens、字節(jié)Pico、創(chuàng)維VR等幾乎所有主流XR廠商的頭顯設(shè)備，都采用了驍龍XR系列平臺。其中驍龍XR2是當(dāng)前的代表方案之一，高通稱這是首款將5G和AI結(jié)合的XR芯片。

它引入了七路攝像頭支持和定制化計算機視覺處理器，實現(xiàn)了實時追蹤用戶頭部、嘴唇和眼球，26點手部骨骼追蹤等功能。

場景理解和3D重建能夠?qū)⑻摂M信息與物理世界更好融合，帶來更為沉浸的交互體驗。

但與此同時，設(shè)備還會感知用戶所在的外部環(huán)境，可以通過AI識別出門鈴、孩子哭聲等聲音，來提醒人們處理緊急事件。語音助手也會實時待命，并能在嘈雜環(huán)境中識別命令，基于5G信號的能力及時將消息發(fā)送至用戶終端（移動計算平臺）上。

近日高通還發(fā)布了最新的第一代驍龍XR2+平臺，在帶來續(xù)航和散熱表現(xiàn)的大幅提升之外，還引入了全新圖像處理管線，支持并行感知技術(shù)，包括頭部、手勢和手柄追蹤、3D重建以及低時延視頻透視；該平臺的高像素密度能夠支持PC級虛擬景觀，并能夠同時支持多個傳感器和攝像頭，為更逼真的虛擬人物賦予細致入微的面部表情。

Meta已經(jīng)發(fā)布了基于該平臺的首款產(chǎn)品Meta Quest Pro，與同樣搭載驍龍平臺的手柄結(jié)合，可通過多個嵌入式定位攝像頭進行自追蹤，并與頭顯之間實現(xiàn)超低時延；結(jié)合面部和眼球追蹤時，能夠在VR中為用戶打造更加自然的虛擬形象。這同樣不失為是一種以升維為核心的融合。

移動PC領(lǐng)域，高通也在嘗試用5G和AI來提升移動辦公的生產(chǎn)效率、保護終端隱私。

比如召開遠程會議時，設(shè)備可以準(zhǔn)確感知到主體的面部，即便是在人口嘈雜的街邊咖啡店也可以實現(xiàn)精準(zhǔn)聚焦，周圍的路人也就不會出現(xiàn)在會議上。

在第三代驍龍8cx計算平臺上，高通AI引擎可以提供29+ TOPS的加速能力，最高性能提升達3倍。云端部署、本地運行的方式，還能讓輕薄本挑戰(zhàn)高性能任務(wù)，并不占用過多資源。

除了自身應(yīng)用落地外，高通還將這些底層AI能力集成到一個統(tǒng)一AI軟件棧，實現(xiàn)移動計算底層“大一統(tǒng)”。最上游還是統(tǒng)一的AI框架和AI引擎Direct。隨后通過不同的開發(fā)者服務(wù)、系統(tǒng)軟件、操作系統(tǒng)，分發(fā)給不同的移動計算平臺，比如，智能手機、XR、ACPC（Always Connected PC，即始終連接的PC）等都在其中。

其中高通還為開發(fā)者準(zhǔn)備了一系列工具包，包括AI模型增效工具包、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索、模型分析器等。

這樣一來，它就能實現(xiàn)不同終端之間的應(yīng)用開發(fā)互聯(lián)互通，如手機到XR設(shè)備，以實現(xiàn)不同終端之間的能力打通。

以手機為始，拓展出XR和PC等新形態(tài)，最后再將其集成給開發(fā)者，構(gòu)建多元的開放生態(tài)，是有點“一生二，二生三，三生萬物”的感覺了。

而如果觀察高通在5G和AI前沿技術(shù)上的探索，會發(fā)現(xiàn)他們對移動計算的想象還遠不止于此。

高通的通信領(lǐng)導(dǎo)力自然不必多說。今年3月，高通發(fā)布了第五代5G基帶及射頻解決方案——“驍龍X70”。它不但是全球唯一支持從600MHz到41GHz全部5G商用頻段的廠商，還全球首個集成了5G AI處理器，它可以利用AI優(yōu)化Sub-6GHz、毫米波頻段的5G鏈路，提升速度、網(wǎng)絡(luò)覆蓋、移動性、鏈路穩(wěn)健性、能效，并降低時延。

而在AI的探索中，今年4月高通發(fā)表了一篇論文，介紹了一種用于全景分割的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，基于對實例、語義關(guān)系的學(xué)習(xí)，它能像素級標(biāo)記圖像，有效識別事物特征并進行預(yù)測，同時還能自動關(guān)注重要的事物，并在所有基準(zhǔn)測試中都達到了SOTA。

該研究可應(yīng)用于自動駕駛、AR等場景下，目前已被CVPR 2022收錄。

想象一下這項成果走向應(yīng)用，那不就是Free Guy（科幻電影《失控玩家》）走進現(xiàn)實了嗎？

未來移動計算還承載著人機交互變革

不可否認的是，包括高通乃至更多玩家都已經(jīng)認識到以XR、ACPC為代表的新型移動計算平臺催生出的新興場景，有著前所未有的市場和價值。

用XR設(shè)備打開的元宇宙，可用于工業(yè)、娛樂、游戲、社交等一切可虛擬化的現(xiàn)實場景，在被廣泛應(yīng)用之后，未來幾年足以撬動超8000億美元市場規(guī)模。而隨著以新型移動PC為代表的移動計算平臺的更加通用，以及與其他計算平臺的更加協(xié)同，更多場景與價值有待發(fā)掘……

如果說過去以手機延展出的場景，只是數(shù)以百計的垂直軟件生態(tài)；那么來到新型計算時代，則是帶來數(shù)以百計的橫向產(chǎn)業(yè)拓展，進而帶來數(shù)以千計、數(shù)以萬計的開發(fā)者生態(tài)與企業(yè)機遇。

而這背后正是AI這一底層技術(shù)驅(qū)動，所引發(fā)的由點到線及面的冪集創(chuàng)新。

包括前面幾期提到的汽車、物聯(lián)網(wǎng)等場景，未來整個移動計算體系所承載著的，還有更為深遠的人機交互變革。

縱覽整個機器革命，每一次人機交互的革新，都給人類生活方式帶來了巨大的改變。

以時間為軸，如今移動計算平臺的革新，不正是當(dāng)下正在發(fā)生的人機交互革命？

以傳統(tǒng)PC為首的人機交互1.0，半導(dǎo)體技術(shù)飛躍進步推動個人計算機時代的到來。而像鼠標(biāo)、鍵盤以及圖形用戶界面的發(fā)明，更是讓計算機飛入尋常百姓家，即便那個家庭沒有受到過專業(yè)訓(xùn)練。

當(dāng)前，以智能手機為首的人機交互2.0，移動計算平臺已經(jīng)開始占據(jù)主導(dǎo)地位。

2007年前后以iPhone和各品牌安卓終端為主的觸屏交互逐漸成為移動時代下的主流。人們用手指替代鍵盤，更多生活相關(guān)的應(yīng)用，只需一部手機就可以搞定。因為其便攜性，人人都可以擁有屬于自己的人機交互設(shè)備。

而在可預(yù)見的未來，在5G和AI技術(shù)驅(qū)動下，由XR硬件等新型移動計算平臺引領(lǐng)的人機交互3.0，更讓隨時隨地交互成為可能，就像那個AR隱形眼鏡，只需一睜開眼就能接收信息，動動嘴就能處理信息，一旦規(guī)?；占伴_來，就是人機交互新時代的開始，如今只剩下最后的100米，要靠底層能力驅(qū)動。

在人機交互3.0時代，一些舊有的移動計算形態(tài)也在AI和5G連接等驅(qū)動下，帶來新的價值創(chuàng)新，如更智能、便捷的新型移動PC體驗。

但交互方式等體驗上的改變僅僅是表象，技術(shù)的普及普惠，才是移動計算革新帶來的根本上的深遠影響。

從過去每個家庭擁有一臺PC，到每個人都擁有一臺智能手機，人機交互發(fā)生了巨大的變革；而在不遠的未來，每個人將都可以隨時隨地開啟各種全新形式的人機交互體驗。當(dāng)AI、5G等技術(shù)更加深入影響到我們每個個體當(dāng)中，我們也可以如科幻電影主角那般，以更為多元的方式感知世界。

這從某種程度上也印證了，任何顛覆性的改變，不僅僅只有像高通這種位于AI、5G等基礎(chǔ)技術(shù)頂端的賦能型企業(yè)能夠感受到。其實，我們每個人都身處浪潮之中，能夠親身感受和丈量新的時代機遇，成為冪集創(chuàng)新的一份子。

論文鏈接：https://arxiv.org/abs/2204.05370