NVIDIA 與合作伙伴在 MLPerf 中展示領(lǐng)先的 AI 性能和通用性

NVIDIA AI 仍是唯一能夠運(yùn)行 MLPerf行業(yè)基準(zhǔn)測(cè)試中所有測(cè)試的平臺(tái)， A100 GPU自發(fā)布以來(lái)連續(xù)兩年一直保持著獲勝次數(shù)最多的紀(jì)錄。

根據(jù)今天發(fā)布的 MLPerf 基準(zhǔn)測(cè)試結(jié)果， NVIDIA 及其合作伙伴占了所有參賽生態(tài)伙伴的 90%，并且繼續(xù)提供了最佳的整體 AI 訓(xùn)練性能和提交了最多的測(cè)試項(xiàng)。

NVIDIA AI 平臺(tái)覆蓋了 MLPerf 訓(xùn)練 2.0 版本中的所有八項(xiàng)基準(zhǔn)測(cè)試，突顯了其領(lǐng)先的通用性。

除 NVIDIA 之外，無(wú)其它加速器運(yùn)行過(guò)所有基準(zhǔn)測(cè)試，這些基準(zhǔn)測(cè)試代表了流行的 AI 用例，包括語(yǔ)音識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)、目標(biāo)檢測(cè)、圖像分類等，而 NVIDIA 自 2018 年 12 月向作為行業(yè)標(biāo)準(zhǔn) AI 基準(zhǔn)測(cè)試的 MLPerf 提交首輪測(cè)試結(jié)果以來(lái)就一直如此。

領(lǐng)先的基準(zhǔn)測(cè)試結(jié)果與可用性
在連續(xù)第四次 MLPerf 訓(xùn)練提交結(jié)果中，基于 NVIDIA Ampere 架構(gòu)的 NVIDIA A100 Tensor Core GPU 依然表現(xiàn)出色。
?

各個(gè)提交者平臺(tái)在每個(gè)網(wǎng)絡(luò)的“最快訓(xùn)練時(shí)間”

Selene 是 NVIDIA 內(nèi)部的一臺(tái) AI 超級(jí)計(jì)算機(jī)，它基于模塊化的 NVIDIA DGX SuperPOD，并由 NVIDIA A100 GPU、軟件堆棧和 NVIDIA InfiniBand 網(wǎng)絡(luò)驅(qū)動(dòng)，在八項(xiàng)大規(guī)模工作負(fù)載測(cè)試的四項(xiàng)中獲得 “最快訓(xùn)練時(shí)間” 。

為了計(jì)算單芯片性能，該圖表將每份提交結(jié)果歸一化到每個(gè)提交者最常見(jiàn)的尺度，檢測(cè)分?jǐn)?shù)歸一化到速度最快的競(jìng)爭(zhēng)者，最快競(jìng)爭(zhēng)者顯示為 1倍。

NVIDIA A100 還保持了單芯片性能上的領(lǐng)導(dǎo)地位，在八項(xiàng)測(cè)試中的六項(xiàng)測(cè)試中呈現(xiàn)了最快的速度。

?共有 16 家合作伙伴使用 NVIDIA AI 平臺(tái)提交了本輪結(jié)果，包括華碩、百度、中國(guó)科學(xué)院自動(dòng)化研究所、戴爾科技、富士通、技嘉、新華三、慧與、浪潮、聯(lián)想、寧暢和超微。

NVIDIA 的大多數(shù) OEM 合作伙伴提交了使用 NVIDIA 認(rèn)證系統(tǒng)得到的結(jié)果，這些服務(wù)器經(jīng)過(guò) NVIDIA 驗(yàn)證，能夠?yàn)槠髽I(yè)部署提供出色的性能、可管理性、安全性和可擴(kuò)展性。
?
多種模型驅(qū)動(dòng)實(shí)際 AI 應(yīng)用
AI 應(yīng)用可能需要理解用戶說(shuō)出的要求，對(duì)圖像進(jìn)行分類、提出建議并以語(yǔ)音信息的形式作出回應(yīng)。
?

?

即使是上圖簡(jiǎn)單的用例也需要將近 10個(gè)模型，這突出了運(yùn)行每個(gè)基準(zhǔn)的重要性

這些任務(wù)需要多種類型的 AI 模型按順序工作，用戶需要能夠快速且靈活地設(shè)計(jì)、訓(xùn)練、部署和優(yōu)化這些模型。

這也是為什么通用性（能夠在 MLPerf 及其他版本中運(yùn)行每個(gè)模型），以及領(lǐng)先的性能都是將現(xiàn)實(shí)世界的 AI 引入入生產(chǎn)的關(guān)鍵。

通過(guò) AI 實(shí)現(xiàn)投資回報(bào)
對(duì)于客戶而言，數(shù)據(jù)科學(xué)和工程團(tuán)隊(duì)是最寶貴的資源，他們的生產(chǎn)力決定了 AI 基礎(chǔ)設(shè)施的投資回報(bào)?？蛻舯仨毧紤]昂貴的數(shù)據(jù)科學(xué)團(tuán)隊(duì)的成本，這通常在部署 AI 的總成本中占比很重，而部署 AI 基礎(chǔ)設(shè)施本身的成本相對(duì)較少。

AI 研究人員的生產(chǎn)力取決于能否快速測(cè)試新的想法，這需要通用性來(lái)訓(xùn)練任何模型，以及大規(guī)模訓(xùn)練模型所能提供的速度。這就是為什么企業(yè)關(guān)注單位成本的整體生產(chǎn)力，以確定最佳的 AI 平臺(tái)——更全面的視角，更準(zhǔn)確地代表了部署 AI 的真實(shí)成本。

此外， AI 基礎(chǔ)設(shè)施的利用率取決于可替換性，或在單一平臺(tái)上加速?gòu)臄?shù)據(jù)準(zhǔn)備到訓(xùn)練再到推理的整個(gè) AI 工作流程的能力。

憑借 NVIDIA AI，客戶可以在整個(gè) AI 流程中使用相同的基礎(chǔ)設(shè)施，重新利用它來(lái)適配數(shù)據(jù)準(zhǔn)備、訓(xùn)練和推理之間的不同需求，這極大地提高了利用率，實(shí)現(xiàn)了非常高的投資回報(bào)率。

隨著研究人員發(fā)現(xiàn)新的 AI 突破口，支持最新模型創(chuàng)新是最大程度地延長(zhǎng) AI 基礎(chǔ)設(shè)施使用壽命的關(guān)鍵。
NVIDIA AI 兼容并適用于每個(gè)模型、可以擴(kuò)展到任何規(guī)模，并加速?gòu)臄?shù)據(jù)準(zhǔn)備到訓(xùn)練再到推理的端到端 AI 流程，能夠?qū)崿F(xiàn)最高的單位成本生產(chǎn)力。

今天的結(jié)果再次證明了 NVIDIA 在迄今為止所有 MLPerf 訓(xùn)練、推理和 HPC 評(píng)測(cè)中所展示的豐富而深厚的AI專業(yè)性。

?
3 年半內(nèi)將性能提高 23 倍
自首次基于 A100 提交 MLPerf 基準(zhǔn)測(cè)試以來(lái)的兩年時(shí)間里，在 NVIDIA 軟件堆棧持續(xù)優(yōu)化的推動(dòng)下， NVIDIA 平臺(tái)的性能已提高了 6 倍。

自 MLPerf 問(wèn)世以來(lái)，歸功于跨 GPU、軟件和大規(guī)模改進(jìn)的全棧式創(chuàng)新， NVIDIA AI 平臺(tái)在 3 年半時(shí)間里，在基準(zhǔn)測(cè)試中實(shí)現(xiàn)了 23 倍的性能提升。正是這種對(duì)創(chuàng)新的持續(xù)追求，讓客戶確信他們現(xiàn)今投資的 AI 平臺(tái)將持續(xù)服務(wù) 3 至 5 年，并將繼續(xù)推進(jìn)以適配最先進(jìn)的技術(shù)。

此外， NVIDIA 于 3 月發(fā)布的 NVIDIA Hopper架構(gòu)有望在未來(lái)的 MLPerf 基準(zhǔn)測(cè)評(píng)中實(shí)現(xiàn)性能的另一巨大飛躍。

NVIDIA 如何做到這一點(diǎn)
軟件創(chuàng)新持續(xù)釋放 NVIDIA Ampere架構(gòu)的更多性能。

例如，在提交結(jié)果中大量使用的 CUDA Graphs，該軟件可以最大限度地減少跨多個(gè)加速器上運(yùn)行作業(yè)的啟動(dòng)開銷。NVIDIA 不同庫(kù)的內(nèi)核優(yōu)化，如 cuDNN 和預(yù)處理庫(kù) DALI，解鎖了額外的加速。 NVIDIA 還實(shí)現(xiàn)了跨硬件、軟件和網(wǎng)絡(luò)的全棧改進(jìn)，如 NVIDIA Magnum IO 和 SHARP，將部分 AI 功能卸載到網(wǎng)絡(luò)中，以獲得更好的性能，特別是在大規(guī)模的情況中。

NVIDIA 所使用的所有軟件均可從 MLPerf 資源庫(kù)中獲取，所有人都可以獲得 NVIDIA 的世界級(jí)領(lǐng)先成果。 NVIDIA 不斷地將這些優(yōu)化集成到 NVIDIA 的 GPU 應(yīng)用軟件中心—— NGC 上提供的容器中，并通過(guò) NVIDIA AI Enterprise 提供完全由 NVIDIA 支持，并經(jīng)過(guò)優(yōu)化的軟件。

從 A100 GPU 兩年前首次提交以來(lái)， NVIDIA AI 平臺(tái)繼續(xù)在 MLPerf 2.0 中提供最高的性能，仍是唯一能夠提交所有基準(zhǔn)測(cè)試的平臺(tái)。 NVIDIA 的下一代 Hopper 架構(gòu)有望在未來(lái)的 MLPerf 評(píng)測(cè)中實(shí)現(xiàn)另一巨大飛躍。

NVIDIA 平臺(tái)適用于任何規(guī)模的模型和框架，并具有可替代性以處理 AI 工作負(fù)載的每個(gè)部分。它可以在所有云端和主要的服務(wù)器制造商上使用。