昆侖萬(wàn)維方漢：將技術(shù)紅利轉(zhuǎn)為市場(chǎng)紅利，拿到垂直領(lǐng)域SOTA是前提

中國(guó)研發(fā)能在垂直領(lǐng)域取得全球的SOTA。2024中國(guó)生成式AI大會(huì)于4月18-19日在北京舉行，在大會(huì)首日的主會(huì)場(chǎng)開(kāi)幕式上，昆侖萬(wàn)維董事長(zhǎng)兼CEO方漢以《從天工SkyMusic音樂(lè)大模型談SOTA紅利》為題發(fā)表演講。

方漢強(qiáng)調(diào)了“技術(shù)領(lǐng)先”在AI領(lǐng)域的重要性，不同于互聯(lián)網(wǎng)時(shí)代產(chǎn)品的商業(yè)模式導(dǎo)向，大模型時(shí)代技術(shù)導(dǎo)向才能帶來(lái)市場(chǎng)上的領(lǐng)先優(yōu)勢(shì)，吸引大量用戶并獲取紅利。OpenAI在AI創(chuàng)企中的地位，本質(zhì)上是其文本大模型的SOTA（當(dāng)前技術(shù)指標(biāo)第一）能力帶來(lái)的。

對(duì)于當(dāng)前的AI創(chuàng)業(yè)者，在圖像、視頻、音樂(lè)等任何賽道，只要能取得SOTA，就能通過(guò)技術(shù)優(yōu)勢(shì)獲得大量用戶，后續(xù)再通過(guò)產(chǎn)品創(chuàng)新、商業(yè)模式創(chuàng)新把用戶固化在平臺(tái)上，形成自己的護(hù)城河。

在AGI和AIGC領(lǐng)域，昆侖萬(wàn)維研發(fā)出了天工3.0模型，包含音樂(lè)大模型SkyMusic和全球最大規(guī)模的開(kāi)源MoE大模型。其中音樂(lè)大模型SkyMusic就處于音樂(lè)領(lǐng)域的SOTA地位。

SkyMusic音樂(lè)大模型支持多種方言輸出，具有辨識(shí)度的自然人聲、降低音樂(lè)創(chuàng)作門(mén)檻和成本等，便于內(nèi)容行業(yè)發(fā)展?；谝糍|(zhì)、自然度和理解度方面的優(yōu)勢(shì)，即使是沒(méi)有音樂(lè)背景的普通人也能夠利用該技術(shù)進(jìn)行音樂(lè)創(chuàng)作，而這也將極大地?cái)U(kuò)展音樂(lè)創(chuàng)作的可能性和范圍。

此外，天工3.0大模型數(shù)學(xué)、推理、代碼等方面能力大幅提升，同時(shí)具有多輪搜索與綜合工具的調(diào)用能力，將帶來(lái)內(nèi)容行業(yè)的爆發(fā)，同時(shí)也將促進(jìn)文化平權(quán)和打破壟斷，讓每個(gè)人更好地塑造和表達(dá)自我。

以下為方漢的演講實(shí)錄：SOTA其實(shí)是一個(gè)學(xué)術(shù)上用得非常多的專有名詞，全稱是“State of the Art”，這個(gè)比較拗口，其實(shí)是當(dāng)前技術(shù)指標(biāo)第一的意思。這本來(lái)是在機(jī)器學(xué)習(xí)領(lǐng)域用來(lái)評(píng)估模型的一個(gè)技術(shù)指標(biāo)，原本是個(gè)學(xué)術(shù)詞，為什么會(huì)備受關(guān)注？

1.在垂類領(lǐng)域拿到SOTA，才能將技術(shù)紅利轉(zhuǎn)化市場(chǎng)紅利

縱觀這一波大模型的投資以及創(chuàng)業(yè)浪潮，可以發(fā)現(xiàn)一個(gè)明顯的現(xiàn)象。在上一波移動(dòng)互聯(lián)網(wǎng)，所有創(chuàng)業(yè)公司的CEO或者Leader基本上都是產(chǎn)品或者是商務(wù)背景，也就是說(shuō)移動(dòng)互聯(lián)網(wǎng)是商業(yè)模式和產(chǎn)品模式的創(chuàng)新，而這一波AI創(chuàng)業(yè)的大潮，所有AI公司的CEO基本上都是技術(shù)背景。

為什么呢？因?yàn)?strong>在AI領(lǐng)域技術(shù)遠(yuǎn)遠(yuǎn)超過(guò)產(chǎn)品商業(yè)模式，技術(shù)的領(lǐng)先才能帶來(lái)業(yè)務(wù)上的紅利。舉幾個(gè)例子，首先不可避免要談到這個(gè)行業(yè)的第一名，OpenAI。OpenAI為什么現(xiàn)在估值這么高，為什么全世界對(duì)它這么期許？因?yàn)楸举|(zhì)上在ChatGPT之后，它在文本大模型上的SOTA地位一直非常穩(wěn)固。直到Claude 3出來(lái)之后，才第一次有大模型可以接近GPT-4的位置，所以它趕忙拋出Sora，這是在視頻生成領(lǐng)域的SOTA。也就是說(shuō)在最泛化的通用人工智能、文本大模型領(lǐng)域，OpenAI的SOTA紅利非常明顯。

但是我們看圖像生成賽道，DALL·E 3出來(lái)得非常早，但是很快像Midjourney、Stable Diffusion出來(lái)之后，這些中小型的創(chuàng)業(yè)公司獲取大量的用戶，遠(yuǎn)遠(yuǎn)超過(guò)OpenAI的DALL·E 3。為什么？就是因?yàn)镈ALL·E 3沒(méi)有達(dá)到SOTA。SOTA被Midjourney以及后面的一些中小創(chuàng)業(yè)公司拿到，用戶肯定會(huì)選擇中小公司的產(chǎn)品，而不會(huì)選擇其他公司的產(chǎn)品。也就是說(shuō)在任何一個(gè)領(lǐng)域，對(duì)于我們所有的創(chuàng)業(yè)者和后來(lái)者，只要你能在這個(gè)領(lǐng)域拿到技術(shù)指標(biāo)上的第一，你就能夠獲取大量的用戶。

在獲取大量用戶之后，才可以用你的產(chǎn)品模式、商業(yè)模式把這些用戶固化在你的平臺(tái)上。從長(zhǎng)期來(lái)看，只要新的大模型和新的競(jìng)爭(zhēng)者沒(méi)有明顯的代際壓制的話，你仍然能夠繼續(xù)靠這些用戶獲取紅利。就像Midjourney V6出來(lái)之后，它的SOTA地位已經(jīng)不是很穩(wěn)固了，但是用戶基礎(chǔ)仍然很堅(jiān)實(shí)。

前面是我的一些背景介紹，當(dāng)然中國(guó)企業(yè)因?yàn)檫M(jìn)入大模型賽道，其實(shí)大家都蠻晚的，但是我們?cè)谌虻母?jìng)爭(zhēng)中心仍然是堅(jiān)持技術(shù)第一，我們一定要在某個(gè)垂類領(lǐng)域拿到SOTA之后，才能夠由技術(shù)上的紅利，轉(zhuǎn)化為用戶和市場(chǎng)上的紅利。

2.以天工大模型為底座，形成六大業(yè)務(wù)矩陣

首先給大家匯報(bào)一下昆侖萬(wàn)維是從什么時(shí)候開(kāi)始做AGI和AIGC這件事情。我們是2020年GPT-3出來(lái)的時(shí)候就成立了一支團(tuán)隊(duì)做文本大模型的預(yù)訓(xùn)練工作，2021年開(kāi)始做音樂(lè)大模型的生成預(yù)研工作，當(dāng)然我們也走過(guò)很多彎路，比如音樂(lè)大模型一開(kāi)始走的符號(hào)生成，再轉(zhuǎn)到端到端?，F(xiàn)在所有垂直賽道到終局一定是端到端。

2022年12月，我們發(fā)布了中國(guó)首個(gè)開(kāi)源文本大模型，當(dāng)時(shí)海外的各種開(kāi)源大模型也沒(méi)出來(lái)，這是來(lái)自中國(guó)企業(yè)的第一個(gè)基于中文的13B開(kāi)源文本大模型。2023年4月17日，我們發(fā)布了天工1.0；8月23號(hào)發(fā)布了國(guó)內(nèi)首個(gè)AI搜索“天工AI搜索”。今年4月17日，我們發(fā)布天工3.0，包含首個(gè)中國(guó)的音樂(lè)AIGC賽道的SOTA，也就是SkyMusic音樂(lè)生成模型，以及4000億參數(shù)的全球最大規(guī)模的開(kāi)源MoE大模型。

目前我們有六大業(yè)務(wù)矩陣，包括AI大模型、AI搜索、AI音樂(lè)、AI視頻、AI社交和AI游戲。雖然矩陣這么多，但我們目標(biāo)非常清晰。首先我們一定要做底座模型——天工大模型，從原來(lái)的文本大模型到現(xiàn)在的MoE大模型，再到下一代多模態(tài)大模型，我們一定要在底座大模型上持續(xù)去演進(jìn)。為什么？因?yàn)楝F(xiàn)在有一個(gè)明顯的現(xiàn)象，所有垂直賽道的各種垂類模型，不管音頻、音樂(lè)、視頻、圖像還是3D模型其實(shí)都嚴(yán)重依賴于底座文本大模型的能力，如果底座文本大模型能力不行，各種垂類模型能力上限比較低。社交、音樂(lè)、游戲和視頻都屬于AIGC垂類賽道，我們認(rèn)為在這些垂類賽道上只要進(jìn)行持續(xù)和長(zhǎng)期的投入，就一定可以達(dá)到SOTA，從而獲取市場(chǎng)上的領(lǐng)先優(yōu)勢(shì)。

3.中國(guó)首個(gè)音樂(lè)AIGC上的SOTA，近2000萬(wàn)首全量音樂(lè)數(shù)據(jù)集

首先給大家介紹一下天工音樂(lè)大模型SkyMusic，這個(gè)現(xiàn)在已經(jīng)對(duì)全量用戶開(kāi)放了，大家在App Store和應(yīng)用商店搜索“天工”，“天工”里面有一個(gè)音樂(lè)的type，大家可以立刻去使用，這是中國(guó)第一個(gè)音樂(lè)AIGC上的SOTA。這是我們把剁椒魚(yú)頭的菜譜做成一首歌的案例演示，是用粵語(yǔ)演唱出來(lái)的。

這是天工AI音樂(lè)和龐博聯(lián)合的案例，我們把龐博寫(xiě)的詞做成了一首歌。

下面說(shuō)一下技術(shù)指標(biāo)，目前SkyMusic和Suno V3版本相比，在人聲、BGM音質(zhì)、人聲自然度、發(fā)音可懂度方面都已經(jīng)擊敗了Suno。我們相信在下一個(gè)版本里面可以把這個(gè)差距繼續(xù)拉大。

AI音樂(lè)大模型，自2021年開(kāi)始研發(fā)到現(xiàn)在走過(guò)三年歷程，我們技術(shù)路線也在不斷地演進(jìn)。去年8月份Sora沒(méi)有出來(lái)，我們就已經(jīng)轉(zhuǎn)向Diffusion Transformer架構(gòu)，因?yàn)檫@個(gè)架構(gòu)是最為Scale up的一種架構(gòu)。我們的數(shù)據(jù)集包含將近兩千萬(wàn)首全量的音樂(lè)數(shù)據(jù)集，并且經(jīng)過(guò)三年多的清洗和處理，其數(shù)據(jù)質(zhì)量是有保障的。我們采用類DiT架構(gòu)做了SkyMusic音樂(lè)大模型的研發(fā)，目前這個(gè)大模型還只是我們的第一個(gè)版本，后續(xù)在實(shí)驗(yàn)室版本會(huì)實(shí)現(xiàn)更多的功能。

下面介紹一下我們有哪些非常獨(dú)特的優(yōu)勢(shì)。用過(guò)Suno的都知道，你選擇的是文本標(biāo)簽和風(fēng)格。我們現(xiàn)在的制作方法是，上傳一首你喜歡聽(tīng)的歌，甚至你自己錄的一個(gè)旋律，我們都能根據(jù)這個(gè)生成音樂(lè)。這其實(shí)更像傳統(tǒng)的音樂(lè)工作者創(chuàng)作音樂(lè)的一個(gè)邏輯，很多音樂(lè)工作者先在腦?；蛘咦彀秃叱鲆欢吻?，然后寫(xiě)下來(lái)，根據(jù)這個(gè)再做主歌、副歌、編曲的工作，SkyMusic示例音源生成音樂(lè)的能力非常強(qiáng)。

第二，我們支持單一語(yǔ)種方言的輸出能力。目前中文版本已經(jīng)支持四川話、粵語(yǔ)、北京話、天津話、上海話等多種方言版本，這個(gè)對(duì)于用戶來(lái)說(shuō)是非常有意義的。最后是更具辨識(shí)度的自然人聲。人聲的音源質(zhì)量，以及對(duì)于各種人群，女聲、男聲、幼兒聲和成人聲，SkyMusic都有非常好的一個(gè)泛化。當(dāng)

做到技術(shù)上的SOTA時(shí)，怎么把技術(shù)上的SOTA轉(zhuǎn)為產(chǎn)品上的紅利？

我們認(rèn)為所有的AIGC，包括音樂(lè)創(chuàng)作的大模型出來(lái)后，首先極大降低了音樂(lè)創(chuàng)作門(mén)檻。就像我發(fā)的朋友圈，“人人皆可以歌明志”。以前我們做一首歌的邏輯是什么？首先要從四五歲就開(kāi)始學(xué)鋼琴、學(xué)樂(lè)理、學(xué)樂(lè)譜。我自己的孩子在鋼琴方面可能花了七八年才考到一個(gè)專業(yè)級(jí)別，這個(gè)訓(xùn)練時(shí)間很長(zhǎng)。如果他能成為一個(gè)作曲家，可能還要在大學(xué)里面再學(xué)四年，學(xué)完四年之后這還只是作曲，作完曲還要編曲，編曲完還要找歌手演唱、找錄音棚來(lái)錄。

我們?cè)谑袌?chǎng)上錄一首歌從頭到尾，哪怕用最簡(jiǎn)化的配置、最普通的設(shè)備也要兩萬(wàn)人民幣左右。這就導(dǎo)致了整個(gè)音樂(lè)創(chuàng)作，實(shí)際上僅僅依靠一個(gè)人是沒(méi)有能力創(chuàng)作歌曲的，但是有了SkyMusic大模型之后，所有人只要花1分鐘時(shí)間，只要你有歌詞，就能生成一首完整的歌曲，極大降低了音樂(lè)創(chuàng)作的門(mén)檻和造福全體內(nèi)容行業(yè)。

以前大家知道所謂的配樂(lè)全是拿現(xiàn)有的曲子往視頻內(nèi)容上配，今天可以把這個(gè)話題極大泛化，比如今天的主題演講，可以給每一位主題演講者配一首歌，比如微博上每一個(gè)大V給他們寫(xiě)一首關(guān)于他們的歌曲，這個(gè)對(duì)于全體的內(nèi)容行業(yè)都非常便利。

最后，SkyMusic證明中國(guó)研發(fā)也可以在垂直領(lǐng)域取得全球的SOTA，從而讓中國(guó)企業(yè)在全球的AIGC市場(chǎng)上去和國(guó)外的同行正面競(jìng)爭(zhēng)，獲取我們應(yīng)有的市場(chǎng)份額。

4.4000億參數(shù)開(kāi)源MoE大模型天工3.0，拉低全領(lǐng)域創(chuàng)作門(mén)檻

下面介紹一下天工3.0，我們4月17日開(kāi)啟公測(cè)的4000億參數(shù)的全球最大規(guī)模的開(kāi)源MoE大模型，目前性能已經(jīng)全部超越xAI發(fā)布的3140億參數(shù)的MoE大模型Grok-1。這是天工3.0 400B參數(shù)的MoE大模型的技術(shù)底座，目前在MMBench推理能力測(cè)試中標(biāo)藍(lán)色的是處于領(lǐng)先的技術(shù)指標(biāo)，我們?cè)谶@個(gè)技術(shù)指標(biāo)上還是遙遙領(lǐng)先的。

天工3.0，功能全面升級(jí)，它更聰明，模型的技術(shù)知識(shí)能力提升超過(guò)20%；數(shù)學(xué)、推理、代碼、文創(chuàng)能力提升30%；內(nèi)容創(chuàng)作能力，包括能搜索、能寫(xiě)作、能閱讀、能聊天，能夠語(yǔ)音對(duì)話，能夠文生圖，能夠給你作詞作曲。給大家演示一下多輪搜索與綜合工具的調(diào)用能力。圖中問(wèn)題是成都迪士尼怎么去，成都迪士尼實(shí)際上是一個(gè)梗，它是成都的一個(gè)小區(qū)，并不是真正的迪斯尼樂(lè)園。這時(shí)候通過(guò)搜索和大模型結(jié)合就判斷出來(lái)成都迪士尼實(shí)際上是一個(gè)網(wǎng)絡(luò)梗，但它還是把怎么去成都迪士尼這個(gè)小區(qū)規(guī)劃做出來(lái)。當(dāng)你問(wèn)到上海迪士尼天氣時(shí)候，大模型又生成一張?zhí)鞖饪ㄆ?，告訴你今天上海迪士尼下雨，最后再調(diào)用文生圖給你生成一張圖片。

第二個(gè)研究模式，做研究需要寫(xiě)大綱、寫(xiě)知識(shí)圖譜和思維導(dǎo)圖，而天工3.0在自動(dòng)搜索之后不僅僅能生成表格，而且可以迅速生成大綱和自動(dòng)生成腦圖，最后自動(dòng)生成腦圖，可以即貼即用。智能體廣場(chǎng)可以構(gòu)建超強(qiáng)的AI智能體，去幫助你完成相應(yīng)的工作。例如造一個(gè)智能體，幫助研究小米汽車和特斯拉汽車的一個(gè)差別，進(jìn)行大量搜索獲取大量資料后，模型開(kāi)始生成文圖俱備的對(duì)比表格，對(duì)于做文案工作的同學(xué)非常關(guān)鍵。

5.昆侖萬(wàn)維新使命：實(shí)現(xiàn)AGI，讓每個(gè)人更好地塑造和表達(dá)自我

昆侖萬(wàn)維作為一家中國(guó)的互聯(lián)網(wǎng)企業(yè)，現(xiàn)在的戰(zhàn)略是All in AGI與AIGC。我們?cè)?023年宣布了公司的新使命：實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我。

為什么要做這樣一個(gè)使命的修正？因?yàn)閷?shí)現(xiàn)通用人工智能，本質(zhì)上是基于文本大模型把人類所有的知識(shí)壓縮到我們的通用大模型里面，這樣是通向通用人工智能的必經(jīng)之路。但是大家知道通用人工智能在現(xiàn)實(shí)中的落地是有先后之分的，什么樣的場(chǎng)景會(huì)更容易落地？

其實(shí)也比較簡(jiǎn)單，有人開(kāi)玩笑說(shuō)，大模型剛出來(lái)的時(shí)候大家都覺(jué)得所有做生產(chǎn)工作的同學(xué)會(huì)最早失業(yè)，所有做創(chuàng)意藝術(shù)的同學(xué)應(yīng)該是位置是最穩(wěn)固的。但實(shí)際上經(jīng)過(guò)這段時(shí)間的發(fā)展，大家可以看到，所有做文藝創(chuàng)作的同學(xué)失業(yè)概率會(huì)更大一些，也就是說(shuō)在內(nèi)容生成領(lǐng)域，其實(shí)AI的落地更容易。很簡(jiǎn)單，因?yàn)閮?nèi)容生成領(lǐng)域容錯(cuò)率極高，用戶對(duì)于內(nèi)容錯(cuò)誤忍耐度非常高。我們可以容忍我們畫(huà)上、視頻的人多一根手指頭、少一根手指頭。但是我們工作中，你哪怕小數(shù)點(diǎn)后面少一位，這都是巨大的生產(chǎn)事故。

也就是說(shuō)在容錯(cuò)率高的內(nèi)容賽道，這一波大模型和人工智能的發(fā)揮空間是非常大的。我們?cè)谌斯ぶ悄堋IGC領(lǐng)域，研究目的就是降低創(chuàng)作的門(mén)檻。不管是文生圖、文生視頻、文生音樂(lè)、文生音效還是文生3D資產(chǎn)，本質(zhì)上就是移除所有前序我們所需要的長(zhǎng)期的專業(yè)訓(xùn)練，而讓任何一個(gè)人覺(jué)得只要你會(huì)講故事，就可以創(chuàng)造出相應(yīng)的內(nèi)容來(lái)表達(dá)你自己。

這會(huì)帶來(lái)什么樣的影響？首先大家知道創(chuàng)作內(nèi)容的成本極大降低了，創(chuàng)作內(nèi)容的門(mén)檻降低了。我們知道創(chuàng)作內(nèi)容方面只要門(mén)檻降低，創(chuàng)作內(nèi)容的人數(shù)會(huì)急劇膨脹。舉個(gè)例子，我小時(shí)候拍視頻都是電視臺(tái)記者扛幾十公斤的攝像機(jī)拍，這時(shí)候創(chuàng)作者非常少。但是智能手機(jī)出現(xiàn)之后把拍攝者變成全中國(guó)十幾億人，人人可以拍視頻，結(jié)果就是短視頻行業(yè)的巨大發(fā)展。這一波AI把全領(lǐng)域的創(chuàng)作門(mén)檻都拉低了，結(jié)果是什么？整個(gè)內(nèi)容行業(yè)會(huì)迎來(lái)一個(gè)巨大的爆發(fā)。

同時(shí)，它還帶來(lái)另外一個(gè)文化平權(quán)和打破壟斷的作用。為什么？我在非洲待了蠻長(zhǎng)時(shí)間，在尼日利亞的時(shí)候，了解到尼日利亞拍一部在院線上線電影的平均成本是兩萬(wàn)美金到二十萬(wàn)美金之間，這樣拍出來(lái)的片子和中國(guó)四五億人民幣拍出來(lái)的《流浪地球》、美國(guó)四五億美金拍出來(lái)的“漫威”系列電影相比，是毫無(wú)競(jìng)爭(zhēng)力的。但是在我們下一代AIGC技術(shù)出來(lái)之后，我們認(rèn)為全世界所有的弱勢(shì)文化的人都可以用非常低廉的成本，創(chuàng)造出媲美歐美強(qiáng)勢(shì)文化的內(nèi)容。

這樣的結(jié)果是什么？每個(gè)弱勢(shì)文化的族群都可以通過(guò)AIGC技術(shù)來(lái)產(chǎn)生適合自己民族的文化、產(chǎn)生適合自己小語(yǔ)種的文化，這個(gè)對(duì)于全世界的文化平權(quán)是非常有意義的。這也就是第二條，讓每個(gè)人更好塑造和表達(dá)自我，這也是研發(fā)人員在文生音樂(lè)、文生視頻、文生小說(shuō)、文生漫畫(huà)等內(nèi)容創(chuàng)作領(lǐng)域持續(xù)不斷迭代改進(jìn)的一個(gè)終極目的。

以上是方漢演講內(nèi)容的完整整理。