海贼,饥饿游戏1

新發(fā)布的 ?NeuralVDB和 ?Kaolin Wisp 等十幾款工具和程序使數(shù)百萬設(shè)計(jì)師和創(chuàng)作者能夠輕松、快速地創(chuàng)建 3D 內(nèi)容。

一直以來，創(chuàng)建游戲、虛擬世界（包括元宇宙）、產(chǎn)品設(shè)計(jì)或視覺效果場景中的 3D 物體都是一項(xiàng)高度精細(xì)的工作，即便是技藝精湛的藝術(shù)家也必須在細(xì)節(jié)逼真度與期限和預(yù)算壓力之間取得平衡。

要制作出在物理世界中看起來無異的物品需要耗費(fèi)很長的時(shí)間，更復(fù)雜的是有時(shí)需要讓多個(gè)物體和角色在虛擬世界中互動。模擬物理已變得和模擬光線一樣重要，例如虛擬工廠中的機(jī)器人不僅要有與真實(shí)機(jī)器人完全相同的外觀，還要有完全相同的承重和制動能力。

完全做到這一點(diǎn)很難，但這也蘊(yùn)含著巨大的機(jī)遇。除了產(chǎn)品設(shè)計(jì)外，它還影響到交通運(yùn)輸、醫(yī)療、電信、娛樂等多個(gè)萬億美元的行業(yè)。最終，在虛擬世界中創(chuàng)建的內(nèi)容數(shù)量將超過在物理世界中創(chuàng)建的內(nèi)容。

為了簡化和縮短這一流程，NVIDIA 于今日發(fā)布新的研究和多款工具，這些工具將神經(jīng)圖形的應(yīng)用于創(chuàng)建、動畫 3D 物體和世界。

這些 SDK 包括為行業(yè)標(biāo)準(zhǔn) OpenVDB 帶來突破性更新的 NeuralVDB，以及建立神經(jīng)場研究框架的 Pytorch 庫——Kaolin Wisp 。它們不但簡化了設(shè)計(jì)師的創(chuàng)作流程，還使數(shù)百萬非專業(yè)設(shè)計(jì)人士也能輕松創(chuàng)建 3D 內(nèi)容。

神經(jīng)圖形是將 AI 和圖形學(xué)相結(jié)合的新領(lǐng)域，可以用來創(chuàng)建能夠從數(shù)據(jù)中學(xué)習(xí)的加速圖形流程。AI 的加入改進(jìn)了結(jié)果、幫助實(shí)現(xiàn)設(shè)計(jì)選擇的自動化并為藝術(shù)家和創(chuàng)作者提供目前無法想象的新機(jī)會。神經(jīng)圖形學(xué)將重新定義用戶的虛擬世界創(chuàng)建、模擬和體驗(yàn)方式。

這些 SDK 和研究將推動內(nèi)容創(chuàng)作流程的每個(gè)階段，包括：

3D 內(nèi)容創(chuàng)建

Kaolin Wisp：對Kaolin（一個(gè)能夠?qū)⑿录夹g(shù)測試和實(shí)施時(shí)間從幾周縮短到幾天，讓 3D深度學(xué)習(xí)研究變得更快的 PyTorch 庫）的補(bǔ)充。Kaolin Wisp 是一個(gè)面向神經(jīng)領(lǐng)域研究的庫，它建立了一套加速神經(jīng)領(lǐng)域新研究的通用工具和框架。

即時(shí)神經(jīng)圖形基元：一種捕捉現(xiàn)實(shí)世界物體形狀的新方法，也是 NVIDIA Instant NeRF（一種可將靜止圖像集變成數(shù)字 3D 場景的可逆渲染模型）背后的靈感來源。這項(xiàng)技術(shù)和相關(guān)的GitHub代碼將該流程的速度加快了高達(dá) 1000 倍。

3D MoMa：一種新的可逆渲染流程，使用戶可以將 2D 物體快速導(dǎo)入圖形引擎，并創(chuàng)建出可以用現(xiàn)實(shí)材料、照明和物理學(xué)進(jìn)行修改的 3D 物體。

GauGAN360：NVIDIA GauGAN 的進(jìn)化版本。這個(gè) AI 模型可以將粗糙的涂鴉變成逼真的繪畫作品。GauGAN360 可生成能夠移植到 Omniverse 場景的 8K 360 度全景圖。

Omniverse Avatar Cloud Engine（ACE）：這個(gè)全新的云API、微服務(wù)和工具集可創(chuàng)建、自定義和部署數(shù)字人應(yīng)用。ACE建立在NVIDIA的統(tǒng)一計(jì)算框架基礎(chǔ)之上，開發(fā)者可通過它將NVIDIA的核心AI技術(shù)無縫集成到其虛擬形象應(yīng)用中。

物理學(xué)和動畫

NeuralVDB：一項(xiàng)對當(dāng)前行業(yè)的體數(shù)據(jù)存儲標(biāo)準(zhǔn) OpenVDB 的突破性改進(jìn)。NeuralVDB運(yùn)用機(jī)器學(xué)習(xí)引入緊湊型神經(jīng)表示法，大幅減少了內(nèi)存占用，以支持更高分辨率的 3D 數(shù)據(jù)。

Omniverse Audio2Face：一種可將音頻源生成生動面部動畫的 AI 技術(shù)。它非常適合用于交互式實(shí)時(shí)應(yīng)用和作為傳統(tǒng)的面部動畫創(chuàng)作工具。

ASE：動畫技能嵌入：一種使物理模擬角色在不熟悉的場景中以更靈敏、逼真的方式行動的方法。它使用深度學(xué)習(xí)指導(dǎo)角色如何應(yīng)對新的任務(wù)和行動。

TAO 工具包：一個(gè)使用戶能夠創(chuàng)建準(zhǔn)確、高性能姿勢預(yù)估模型的框架。它能夠以比當(dāng)前方法更快的速度運(yùn)用計(jì)算機(jī)視覺評估個(gè)人可以在場景中做什么。

體驗(yàn)

影像特征眼動追蹤：一個(gè)將像素渲染質(zhì)量與用戶反應(yīng)時(shí)間相聯(lián)系的研究模型。它通過預(yù)測渲染質(zhì)量、顯示屬性和瀏覽條件的最佳組合，實(shí)現(xiàn)最小的延遲，使快節(jié)奏的交互式計(jì)算機(jī)圖形學(xué)應(yīng)用（如競技游戲）有更好的表現(xiàn)。