2297
抵達極限的視覺體驗是人們不變的追求，體驗越好，視覺產(chǎn)業(yè)越是剛需。
從石壁作畫開始，提升畫面感和信息傳遞效率就是人們不變的追求，在現(xiàn)代科技趨勢下，視覺產(chǎn)業(yè)更是在迅速地升級和擴大中。近年來，一個非常典型的應用就是手機游戲，沉浸式和高度視覺化的游戲體驗迅速風靡，手機已經(jīng)成為全球最大的游戲平臺。
手機游戲的高速增長與普及，一方面歸功于手機已成為人們?nèi)粘Ｉ畹闹匾M成；另一方面也因為手機所提供的用戶體驗，足以讓玩家能隨時隨地盡興暢玩。
隨著顯示技術日趨逼近人眼可察覺的極限，隨著VR、更為沉浸的3D顯示、更高級的光場顯示技術走向多元應用，移動視覺產(chǎn)業(yè)將迎來大變局。那么，從手機游戲開始的視覺顛覆，可以帶給我們哪些思考？背后有哪些關鍵技術需要關注？哪些應用又將成為未來的主流？
手機游戲拿下半壁江山背后
根據(jù)Newzoo《2022年全球游戲市場報告》的最新更新，手機游戲在2022年首次突破1000億美元大關，占整個游戲市場的51%。這一組數(shù)字的意義不僅在于手機游戲本身的規(guī)模擴張，更意味著，伴隨手機游戲市場規(guī)模的逐年擴張，“分水嶺”已經(jīng)產(chǎn)生了。
對比PC與手機的游戲體驗，處理能力更強、視覺體驗更好的PC一度占據(jù)更大優(yōu)勢。不過，隨著手機自身硬件素質的提升，這一局面發(fā)生了反轉，包括手機內(nèi)存容量、電池電量，特別是GPU的性能提升，使得手機游戲體驗產(chǎn)生了質的變化。
從整個系統(tǒng)層面來看，對手機游戲體驗非常關鍵的硬件產(chǎn)品就是GPU了。移動GPU經(jīng)過多年的發(fā)展，早已不局限于把一款游戲達到流暢及格線的程度，而是致力于實現(xiàn)“更快更強更沉浸”的游戲場景，甚至支撐跨平臺的游戲體驗獲得持續(xù)發(fā)展。從目前高端移動GPU的應用情況來看，將自今年年底開始逐漸在旗艦手機上量，移動視覺產(chǎn)業(yè)也將進一步迎來顛覆。
移動GPU“卷”出新高度
本周，MediaTek推出了天璣9200旗艦5G移動芯片，在手機游戲方面的突破值得特別關注。
據(jù)了解，天璣9200搭載了Arm的新一代Immortalis-G715，11核架構，性能較上一代提升32%，支持移動端的硬件光線追蹤和可變速率渲染技術，能夠釋放圖形性能提升游戲體驗。據(jù)了解，采用天璣9200旗艦5G移動芯片的智能手機預計將于2022年底上市。
Immortalis是Arm今年6月推出的一條全新的旗艦級GPU產(chǎn)品線，首個產(chǎn)品是Immortalis-G715。在Mali GPU出貨量已超過80億顆，并成為全球出貨量最高的GPU產(chǎn)品時，Arm推出一條全新GPU產(chǎn)品線的動力是什么？
根據(jù)Arm當時所做的說明，新GPU設計考慮到了游戲的未來。新的復雜和沉浸式AAA移動游戲體驗將對移動設備提出越來越高的要求，Immortalis-G715旨在為未來的旗艦手機提供更好的視覺體驗。
與前一代 Arm GPU 相比，這款產(chǎn)品性能提升了15%，節(jié)能15%，并且實現(xiàn)了兩倍的機器學習性能提升，在處理機器學習工作負載（例如圖像處理和精度靈活性等）更有余力。
移動應用包括游戲在內(nèi)的最新用例，對硬件與性能正在提出更多新需求；更復雜、更具沉浸感的AAA游戲體驗在手機上越來越常見，領先的AAA級PC和控制臺游戲都有了移動版本；此外，新一代用戶越來越多地選擇手機作為他們的游戲平臺。Arm在新GPU中添加的功能，反映了對終極移動游戲體驗的追求，也代表了當前的技術趨勢。
移動光線追蹤
Immortalis-G715提供了基于硬件的光線追蹤，這也是當前移動終端關注的重點之一?！肮饩€追蹤”技術并不陌生，它作為一種計算機圖形技術，通過建模單個光線在場景周圍的路徑來生成逼真的照明和陰影，可以使圖形真實感達到躍升式變化。通過模擬真實世界中光線的表現(xiàn)，創(chuàng)造出與現(xiàn)實生活幾乎無異的3D場景。
在“光線追蹤”技術問世之前，游戲中的畫面主要采用“光柵化”進行渲染，可以實現(xiàn)一些局部照亮的光線效果，畫面細節(jié)則主要靠貼圖。在當時，光線追蹤技術如果想要實現(xiàn)更真實的畫面，需要顯卡具備較高的圖形運算能力。
2018年，NVIDIA發(fā)布了十多年來在計算機圖形領域的重要創(chuàng)新——圖靈GPU架構，首次將光線追蹤帶入桌面級市場，當時剛體驗過的玩家就認為，“未來的游戲必然需要光線追蹤，那種擬真的質感將俘獲大多數(shù)玩家。”
如今，隨著手機游戲玩家越來越注重畫質表現(xiàn)，除了傳統(tǒng)的提升分辨率，手機游戲也在逐漸“PC化”，光線追蹤自然也就成為手機游戲復刻甚至超越桌面游戲體驗的關鍵。
在一些跨平臺的AAA大作中，移動游戲在畫質上給予了玩家更高的自由度。他們可以根據(jù)設備本身的性能水平，除了游戲的特效等級、分辨率、抗鋸齒等設置，還可以對陰影、反射、環(huán)境光等細節(jié)參數(shù)做出改動。在這些高端游戲中廣泛應用的正是光線追蹤技術。如今，MediaTek搶先在天璣系列的旗艦平臺上支持了光線追蹤功能。
Arm方面介紹，光線追蹤代表了移動游戲內(nèi)容的范式轉變，之所以在Immortalis-G715上引入基于硬件的光線追蹤支持，是因為合作伙伴已經(jīng)準備好了，硬件已經(jīng)準備好，開發(fā)者生態(tài)系統(tǒng)也即將準備好。
據(jù)Arm當時透露，Immortalis-G715將在明年年初出現(xiàn)在旗艦智能手機中，這是生態(tài)系統(tǒng)開始探索游戲內(nèi)容光線追蹤技術的基礎，且這一技術未來幾年將繼續(xù)得到發(fā)展。不過，從目前MediaTek的市場動作來看，已經(jīng)搶先推出了首款基于Immortalis-G715的移動端芯片，且內(nèi)置這一芯片的智能手機預計將于今年底上市，進一步加速了移動端硬件光線追蹤技術的商用化進程。
Imagination方面也曾表示，光線追蹤是改變游戲規(guī)則的3D圖形技術。多年前由于整個生態(tài)還未準備好，也缺乏相對完善的API標準，因此這項技術在移動端的應用一直沒有得到推進。從2018年桌面級GPU公司推出PC光線追蹤開始，整個業(yè)界開始有了生態(tài)投入，并且在2020年Khronos圖形標準化組織推出了Vulkan API的光線追蹤Extension，現(xiàn)在推出具有光線追蹤功能芯片的時機已經(jīng)到來。
如上文所提到，除了IP廠商的推進，全球對于光線追蹤的標準也在不斷完善。特別是今年1月，Vulkan 1.3標準正式發(fā)布，已經(jīng)支持了Vulkan Raytracing API，這便于開發(fā)者通過 Vulkan標準的API，對光線追蹤支持加以利用。這也標志著——移動GPU光追技術將繼續(xù)加速普及，并覆蓋更廣泛的內(nèi)容類型。
渲染優(yōu)化、執(zhí)行引擎優(yōu)化
除了光線追蹤這一核心亮點，移動GPU在優(yōu)化渲染效率、執(zhí)行引擎、PPA等方面也有了不小的改進。
Arm最新的GPU中新增了可變比率著色功能，在圖形和視覺效果方面，通過優(yōu)化渲染提供了顯著的節(jié)能和性能提升。本質上，它獲取一個場景，比如在游戲動作發(fā)生的地方，會以精細的像素粒度將渲染集中在需要它的部分；而需要較少關注的區(qū)域，比如背景風景，則以更粗的像素粒度進行渲染。這樣就使得游戲場景在保持視覺質感的同時，能夠節(jié)約系統(tǒng)功耗。其次還有執(zhí)行引擎的創(chuàng)新等，也是以提高計算能力和能效的關鍵。
Imagination的分塊延遲渲染（TBDR）技術，總體的思路也是提高像素渲染的效率。通過分塊，可以把一個個小塊上的圖形數(shù)據(jù)挪到GPU的Cache上，只做一次性的搬移，從而節(jié)省帶寬。此外，分塊技術能對負載在GPU上進行高效分布，更加善于利用系統(tǒng)內(nèi)存，通過只渲染可見像素，放棄被覆蓋或遮擋像素來大幅提高整體效率。此外還有硬件壓縮技術，通過對像素不同等級的壓縮，在保證圖像質感的同時，達到節(jié)約帶寬的目的。
始于游戲，但不止于游戲
高端游戲技術由桌面向手機遷移的必然趨勢下，視覺體驗的顛覆式躍進在加速。追求極致體驗的手機游戲，真正駛向的藍海難以估量?；蛘哒f，游戲帶來的技術沉淀與革新將在更廣泛深遠的范圍內(nèi)被應用，一切始于游戲而不止于游戲。
首先，硬件設備方面，大體量高度沉浸的手機游戲推動了高效硬件設備和通信網(wǎng)絡的落地;軟件技術方面，游戲引擎技術帶來的云能力，也提升了云計算、云原生引擎的落地動力，這都為視覺應用的普及和升級打下了基礎。
其次，游戲引擎優(yōu)化帶來的沉浸感技術，將持續(xù)向各行業(yè)滲透，并帶來交互體驗的提升。在此基礎上進行的數(shù)字重建、數(shù)字孿生，也可以讓虛擬世界更加真實，為AR/VR、虛擬購物、自動駕駛汽車及先進駕駛輔助系統(tǒng)等領域帶來大規(guī)模落地的希望。
第三，移動游戲也正在助推實時3D技術的發(fā)展，這是一個價值1035億美元的龐大產(chǎn)業(yè)，其規(guī)模已超過了游戲機和電腦游戲市場的總和。移動設備的基礎計算和圖形處理能力正在提高，這意味著游戲將通過實時3D變得更加真實，令人感到身臨其境。
不僅如此，實時3D也在助力移動應用創(chuàng)造出更多可能。比如3D導航、3D建模、實時3D虛擬體驗等，走向更逼真、更具沉浸感的視覺應用。
第四，目前業(yè)內(nèi)很多人看好游戲作為元宇宙的切入點，從構建元宇宙的環(huán)境來看，很多都是由影視素材和游戲素材搭建起來的；并且用戶在手機游戲中的虛擬身份，也便于他們暢游元宇宙；以上所有這些基于游戲而創(chuàng)新的視覺技術、設備，都有望在元宇宙煥發(fā)新生。
還有哪些挑戰(zhàn)？
對于有志于在未來視覺產(chǎn)業(yè)中大干一番的廠商來說，技術實力是一項硬性指標，此外，還需要與相關技術的有機結合，以及產(chǎn)業(yè)生態(tài)之間的合縱連橫。
舉個例子，如果要將游戲應用從智能手機轉移到 AR、VR等其他領域，首先需要游戲開發(fā)者和創(chuàng)作者將他們的經(jīng)驗應用其中，這必然需要強大的產(chǎn)業(yè)對話能力和生態(tài)構建能力，特別是生態(tài)，將會是移動視覺產(chǎn)業(yè)進一步升級的必經(jīng)之路。
Arm方面就表示，接下來的GPU新品（代號：Titan和Krake）將持續(xù)提升性能，在系統(tǒng)層面優(yōu)化用例性能，賦能各類消費級設備實現(xiàn)高質量的視覺體驗。為了實現(xiàn)這一點，他們正在和頂級游戲發(fā)行商、游戲開發(fā)工作室合作，通過軟件、工具等，最大限度地提高游戲應用程序的性能。例如，動視暴雪 (Activision Blizzard)、拳頭游戲 (Riot Games)、King 和 Wargaming 等；同時與Unity開展戰(zhàn)略合作，將Arm技術預集成到Unity工具鏈中，使Unity開發(fā)者能夠在其原生開發(fā)環(huán)境中獲取Arm技術的性能，為創(chuàng)作者提供更好的體驗。
芯片廠商也在積極推進生態(tài)布局。面向開發(fā)者和硬件廠商，MediaTek與評測工具廠商展開合作。并且，MediaTek基于移動端游戲等應用的發(fā)展特征，提出了移動GPU增效方案，實現(xiàn)保持系統(tǒng)資源平衡的基礎上，滿足高復雜度內(nèi)容的計算需求。此外，MediaTek與騰訊《暗區(qū)突圍》游戲制作團隊合作，開發(fā)移動端光線追蹤技術在游戲上的應用，包括游戲引擎優(yōu)化、管線優(yōu)化、光追內(nèi)容特效的呈現(xiàn)等。
對于游戲開發(fā)者來說，他們也在思考如何突破移動平臺視覺效果界限，讓用戶體驗再度升級？當前，照明是業(yè)內(nèi)備受關注的一個主題，即：如何在有限的熱預算限制下，實現(xiàn)與日益增長的場景復雜性相匹配的間接照明。
被譽為“皇冠上的珍珠”的全局照明 (Global Illumination, GI) 就是對逼真照明這一游戲中最重要視覺組件的終極模擬。據(jù)了解，騰訊游戲已經(jīng)和Arm圍繞實時照明進行了深度合作，包括基于Arm Immortalis-G715 ?GPU硬件加速的極致光追性能，到高度優(yōu)化的預計算軟件實現(xiàn)，通過匯聚多種方案的優(yōu)勢讓全局照明進一步得到提升。
寫在最后
綜合來看移動GPU近年來的創(chuàng)新，是架構、算法、工具、生態(tài)等齊頭并進發(fā)展的結果。這其中包括了架構的可擴展性、靈活性、效能、效率、可編程性，以及和行業(yè)標準API的協(xié)同發(fā)展，從而能夠針對更為多樣化的場景和終端進行開發(fā)部署。
事實上，在移動GPU現(xiàn)有的應用場景中，絕不止于手機游戲。例如手機的美顏軟件、短視頻特效、相機中AR的應用或影像算法，其實都需要用到GPU的算力。只不過在游戲這個品類中，我們看到了發(fā)揮GPU巔峰算力時的應用狀態(tài)，以及未來的更多可能性。
手機游戲最終駛向哪里？一切正處在變革時刻，性能、效率或將是視覺體驗應用到各處的關鍵，同時，強大的生態(tài)也有助于更多視覺應用快速落地。平衡好硬幣的兩面，實現(xiàn)性能、功耗、品質、開發(fā)成本的完美平衡，移動視覺產(chǎn)業(yè)將駛向更廣闊的藍海。
下載ECAD模型
