1099
編譯 |??一支筆，編輯?|??云鵬
Sora通過在神經網絡中模擬復雜環(huán)境，彌合了當前AI與AGI之間的差距。
智東西4月26日報道，AI生成視頻不僅是圖像生成器的升級，更是向AGI（通用人工智能）邁進的關鍵一步。在"No Priors"節(jié)目中，Sora團隊負責人Aditya Ramesh、Tim Brooks和Bill Peebles與主持人一起討論了OpenAI最近宣布的生成式視頻模型——Sora。該模型能夠根據(jù)文本提示生成真實、視覺連貫且高清的視頻片段，最長可達一分鐘。
訪談中，三位負責人探討Sora的開發(fā)過程，并就其潛在應用，如教育、娛樂、數(shù)字化身份等闡述各自的觀點。但目前團隊的重點仍在于技術的基礎開發(fā)，而不是特定的下游應用。Brooks表示，雖然包括數(shù)字化身在內的想法很有意義，但團隊目前尚未探索這個問題。Brooks認為，Sora仍舊處于AI視頻模型的GPT-1時代。
此外，Ramesh談到，Sora的視覺美感引人注目，但其美學并未深深嵌入模型之中。在安全方面，Sora也面臨著錯誤信息和攻擊性文字生成等挑戰(zhàn)。對此，他們將在確保模型為用戶提供實際價值的同時，采取一切可能的安全措施，防止生成深度偽造內容和誤導信息。同時，逐步開放技術，尊重用戶自由表達的權利。
Peebles則討論了如何使這項技術更廣泛地普及，包括降低成本和處理可能出現(xiàn)的錯誤信息和相關風險。Peebles提到，作為數(shù)據(jù)網絡（DN）的一部分，團隊必須考慮安全因素，并積極采取措施應對相關風險。而這些，已經成為團隊研究道路上的重要任務之一。
以下是Sora團隊負責人專訪中的20個問答，為方便閱讀，部分問題及回答在盡可能不違背原意的前提下進行了處理：
1、從文本到視頻，從AI到AGI的轉換，你們是如何開始研究這個領域的呢？
Peebles：我們堅信像Sora這樣的模型確實是實現(xiàn)AGI的關鍵步驟。我們認為一個很好的例子是一群人在東京的冬天穿行的場景，這是一個極其復雜的環(huán)境。在這種情況下，你可以想象一臺攝像機飛過場景，許多人相互交流、說話、手牽手，以及附近的商販。這個示例說明了Sora如何在神經網絡權重范圍內建模極其復雜的環(huán)境和世界。
要生成真正逼真的視頻，必須學習人們的工作方式、互動方式以及最終的思考過程。這不僅包括人類，還包括動物和其他需要建模的物體。因此，隨著我們繼續(xù)擴大像Sora這樣的模型，我相信我們將能構建類似世界模擬器的東西。這意味著任何人都可以與其中的人物互動，我作為一個個體可以運行自己的模擬器，與模擬器中的人物進行交互。這種交互是通向AGI的路徑之一。隨著我們未來擴大Sora的規(guī)模，我們將會看見AGI的實現(xiàn)。
2、在更廣泛地使用Sora之前，你需要進行哪些工作？
Brooks：我們真的希望能與OpenAI以外的人交流，并思考Sora將如何影響世界，以及它如何為人們提供幫助。目前，我們沒有制定產品的即時計劃，甚至沒有定制產品明確的時間表。但我們正在采取行動，向一群小藝術家和紅隊成員提供對Sora的訪問權限，開始探索它可能產生的影響。我們收到了來自藝術家的反饋，了解到如何使Sora成為對他們最有用的工具。我們也收到了來自紅隊成員的反饋，幫助我們確保安全，并考慮如何向公眾展示它。這些反饋將為我們未來的研究制定路線圖，并指導我們是否最終推出該產品，以及具體的時間表。
3、你能分享一下你得到的反饋嗎？
Ramesh：我們已經向一小部分藝術家和創(chuàng)作者開放了對Sora的訪問權限，以獲得早期反饋。我們認為最重要的是可控性。目前模型僅接受文本作為輸入。盡管這一功能已經相當有用，但它仍然受限于需要精確描述你想要的內容。因此，我們正在考慮如何在未來擴展模型的功能，以便接受除文本之外的輸入。
4、你們有沒有看見藝術家或其他人用它制作的最喜歡的東西，或者最喜歡的視頻，亦或你覺得鼓舞人心的事物？
Brooks：看到藝術家們如何運用這個模型真是太神奇了。我們對一些事情有自己的想法，但那些以制作創(chuàng)意內容為職業(yè)的人非常有創(chuàng)造力。例如，Shy Kids制作了一個非?？岬囊曨l，他們制作了短篇故事Airhead，這個角色有一個氣球，他們很喜歡這個故事?？吹絊ora能夠解鎖并讓這個故事更容易講述，簡直太酷了。我認為這與Sora制作某個特定剪輯或視頻無關，更多的是這些藝術家想要講述并能夠分享這個故事，而Sora可以幫助實現(xiàn)這一點。Peebles：我個人最喜歡的樣本是我們創(chuàng)作的Bling Zoo。在我們推出Sora那天，我在Twitter上發(fā)布了它。它本質上就是紐約動物園的多鏡頭場景，也是一家珠寶商店。你可以看到劍齒虎在這個閃閃發(fā)光的環(huán)境中仿佛成了裝飾品，這非常地超現(xiàn)實。
我喜歡這些樣本，因為作為一個喜歡創(chuàng)造內容但實際上沒有創(chuàng)作技能的人，通過操作這個模型，我很容易就能產生一大堆想法，并最終得到一些很棒的作品。而且，實際生成所需的時間相比于通過迭代提示生成內容而言要少得多。因此，對我來說，操作這個模型非常有趣，并從中獲得想要的東西。我很高興看到藝術家們也喜歡使用這個模型，并從中獲得創(chuàng)造性的靈感。
5、我們何時能夠看到Sora或其他模型產生的實際內容，這些內容由專業(yè)人士制作，并成為更廣泛媒體類型的一部分？
Brooks：好問題。我對確切時間線沒有預測，但我對此非常感興趣，那就是除了傳統(tǒng)電影之外，人們可能會將其用于什么。在未來幾年里，我們或許會看到人們制作越來越多的電影，但我認為人們也會找到使用這些模型的全新方式，這些方式與我們習慣的當前媒體完全不同。當你告訴這些模型你希望看到什么，并且它們能夠以一種非常不同的方式做出響應時，這就構成了一個非常不同的范式。也許會出現(xiàn)一種全新的互動模式，類似真正富有創(chuàng)意的藝術家與內容互動的方式。所以，我對人們將要嘗試的全新創(chuàng)意感到非常興奮。這真的很有趣，因為與我們目前擁有的不同。
6、當你考慮這個世界模擬模型的功能時，你認為它會成為模擬的物理引擎嗎？人們實際上正在模擬風洞？它是機器人技術的基礎嗎？
Peebles：我認為你說到點子上了。對于像機器人這樣的應用，你可以從視頻中學到很多你不一定能從其他模式中學到的東西，就像OpenAI等公司過去投入了大量資金在這方面，如語言，手臂和關節(jié)在空間中移動的方式等類似的細節(jié)。回到東京的那個場景，你可以觀察到腿是如何移動以及它們如何以物理上準確的方式與地面接觸。因此，在訓練中可以學到很多關于物理世界的知識。我們認為原始視頻對于諸如物理體現(xiàn)之類的事情的發(fā)展至關重要。
7、你能為廣大技術受眾解釋一下什么是擴散Transformer嗎？
Brooks：Sora建立OpenAI的DALL-E模型和GPT模型的研究之上。擴散是一種數(shù)據(jù)生成過程，以我們的案例為例，即視頻生成。這個過程從噪音開始，通過反復多次去除噪音，直到最終去除了足夠多的噪音，只生成一個樣本。這就是我們生成視頻的過程。我們從一段有噪音的視頻開始，逐步去除噪音。從架構角度來看，我們的模型必須是可擴展的，它們需要能夠從大量數(shù)據(jù)中學習，并理解視頻中那些非常復雜且具有挑戰(zhàn)性的關系，這一點至關重要。因此，我們采用了一種類似于GPT模型的架構，稱為Transformer。我們甚至發(fā)布了一份關于Sora的技術報告，展示了在使用較少、中等和更多的計算量時，從同一提示中獲得的結果。
我們認為，隨著我們不斷增加計算資源和數(shù)據(jù)，我們將不斷改進這些模型，使它們能夠勝任更多的任務，如更好的模擬和更長期的生成。
8、你可以給我們解釋一下這種模型的縮放定律是什么嗎？
Peebles：這是一個很好的問題。正如Tim所提到的，使用Transformer的一個優(yōu)點是，可以繼承我們在其他領域，例如語言中看到的所有優(yōu)秀特性。因此，你可以開始提出視頻而不是語言的縮放法則。這是我們團隊正在積極研究的事情，我們不僅在構建模型，還使其變得更好。這意味著，我可以通過使用相同的訓練計算量，在不從根本上增加所需計算量的情況下，獲得更好的結果。這些是我們研究團隊每天都在解決的問題之一，以推動Sora和未來模型的發(fā)展。
9、在這個領域應用Transformer的問題之一就是標記化。還有，這個名字是誰想出來的呢？但像時空補丁那樣科幻的名字真的很棒，你能解釋一下它是什么以及為什么它與此相關嗎？
Brooks：我不認為我們創(chuàng)造了這個名字，它更像是一個描述性的術語。LLM范式的關鍵成功之一就是token的概念。當你瀏覽互聯(lián)網時，你會發(fā)現(xiàn)各種各樣的文本數(shù)據(jù)，包括書籍、代碼、數(shù)學等。語言模型的妙處在于它們有token這一單一概念，使得它們能夠在如此廣泛的數(shù)據(jù)上進行訓練。然而，在過去，視覺生成模型缺乏類似的概念。因此，在Sora之前，你會在256×256分辨率的圖像或256×256的視頻上訓練圖像生成模型或視頻生成模型，而這些視頻正好四秒長。因此，在Sora中，我們引入了“時空補丁”的概念。你可以把它想象成數(shù)據(jù)的表示方式，存在于圖像和長視頻中，就像一個高度堆疊的垂直視頻，你可以從中提取立方體。因此，Sora不僅可以生成720P分辨率的視頻，還可以生成垂直視頻、寬屏視頻，甚至可以生成圖像。這使得Sora成為第一個具有廣度的視覺內容生成模型，就像語言模型具有廣度一樣。這就是我們朝著這個方向邁進的真正原因。
10、如何將端到端深度學習應用于視頻？
Brooks：在Sora之前，許多處理視頻的模型實際上都在考慮擴展圖像生成模型，并在圖像生成方面取得了很多進展。許多人一直在嘗試使用圖像生成器并對其進行一些擴展，以便制作一些持續(xù)時間較長的視頻，而不僅僅是一張靜態(tài)圖像。但對于Sora來說，真正重要的是架構的差異。我們并不是從圖像生成器開始，然后嘗試將其擴展為視頻生成器。相反，我們從一個更宏觀的問題出發(fā)：如何制作一分鐘的高清視頻剪輯。這就是我們的目標。當我們設定了這個目標時，我們意識到我們不能僅僅依賴于擴展圖像生成器。為了制作高清素材，我們需要可擴展的東西，將數(shù)據(jù)分解成非常簡單的方式，以便我們可以使用可擴展的模型。所以我認為這確實是從圖像生成器到Sora的架構演變。這是一個非常有趣的框架，因為我們相信它不僅可以應用于視頻生成領域，還可以應用于其他許多領域。當然，在最短的時間內，我們并不是第一個推出視頻生成器的人。很多人在視頻生成方面取得了令人印象深刻的進展。但是，我們更希望朝著更遠的未來目標努力。我們寧愿選擇未來的一個點，然后花一年時間研究它。而且，我們有快速做事的壓力，因為AI發(fā)展太快了。
11、Sora引人注目的一個方面就是其視覺效果和美學。你能說說如何調整或打造Sora的美學嗎？
Ramesh：對于Sora，我們并沒有過多花費精力在美學上，世界本身就很美，但或許是一個很好的答案。實際上，Sora的語言理解允許用戶以一種更加直接的方式來引導它，這是其他模型很難做到的。用戶可以提供各種提示和視覺線索，以指導模型生成他們想要的內容類型。這種交互性使得用戶能夠更加靈活地與模型進行溝通，從而獲得更加符合其預期的生成結果。
我認為，未來的模型將會理解個人審美。我們接觸的許多藝術家和創(chuàng)作者都希望將他們的全部資產上傳到模型中，這樣在寫標題時就可以借鑒大量的作品，并讓模型理解他們設計公司幾十年來積累的術語等。因此，我認為個性化以及如何將它與美學結合在一起，將成為一件值得探索的很酷的事情。
12、我們能否得到一種與我們現(xiàn)在非常不同的娛樂范式？
Brooks：我覺得視頻模型的發(fā)展將引領著全新的娛樂、教育和溝通方式。娛樂是其中重要組成部分，但更深層次地，這些模型有望讓我們更深入地了解世界和我們的生活，以及如何通過視覺體驗它們。它們不僅可以為我們提供娛樂，還可以成為教育的有力工具。有時候，定制的教育視頻可以是學習新事物的最佳途徑，而制作視頻來解釋觀點可能是與他人溝通的最有效方式。因此，我認為視頻模型存在更廣泛的潛在應用。
13、你們有嘗試過將這些技術應用于數(shù)字化身份等方面嗎？這是否會不太適用？因為它更像是文本到視頻的提示。
Brooks：到目前為止，我們的重點主要是在Sora的核心技術上，而不是在具體的應用方面。雖然包括數(shù)字化身在內的想法很有意義，但我們還沒有探索這個問題。我認為嘗試這些想法會很酷，但我認為我們現(xiàn)在在 Sora的軌跡中的位置，就像是這種新視覺模型范式的GPT-1。
14、你們是如何看待視頻模型引發(fā)有關安全性的問題，以及如何防止偽造、惡搞或其他類似問題？
Ramesh：這是一個非常復雜的問題。我認為我們可以從DALL-E3中學到很多相關措施，比如我們處理的色情或血腥圖像的方式。但肯定會出現(xiàn)新的安全問題，比如錯誤信息，或者是否允許用戶生成具有攻擊性的內容。
一個關鍵問題是，部署這項技術的公司應該承擔多少責任？例如，公司是否應該通知用戶，他們看到的內容可能不是來自可信來源？還有多少責任應該由用戶承擔？這是一個棘手的問題，我們需要認真思考這些問題，以找到最好的解決方案。
15、過去，人們使用Photoshop處理圖像并發(fā)布，提出索賠。人們并沒有說，Photoshop的制造商要為濫用該技術的人負責，你如何看待這些先例？
Ramesh：這很重要。我們希望人們能夠自由地表達自己，做他們想做的事情，但同時也需要負責任。逐步釋放技術，并逐步引導人們適應它，這是一個明智的方法。這樣可以確保技術的使用是負責任的，同時也尊重了用戶的自由表達權。
16、能介紹一下你們下一步或正在開發(fā)一些功能嗎？
Brooks：我對人們將如何利用我們的產品創(chuàng)造出新的東西感到非常興奮。我認為有很多才華橫溢、富有創(chuàng)造力的人都有自己想要創(chuàng)造的東西。但有時要做到這一點真的很困難，因為他們可能缺乏必要的資源、工具或其他東西。這項技術有可能讓許多才華橫溢、富有創(chuàng)造力的人創(chuàng)造出他們想要的東西。我真的很期待他們將要制作出什么了不起的東西，以及這項技術將如何幫助他們。
17、除了長度等顯而易見的問題之外，你能描述一下你們想要解決的局限性是什么嗎？
Peebles：為了使這項技術更加普及，我們需要考慮多個因素。其中一個重要的因素是降低成本，以便更多人能夠承擔。我們都知道，在視頻生成領域，確切的參數(shù)設置對結果影響很大。你知道你正在創(chuàng)建的視頻的分辨率和持續(xù)時間，但是你也知道生成過程不是即時的，需要等待幾分鐘，尤其是對于較長的視頻。因此，我們積極努力降低線程成本，以實現(xiàn)更廣泛的普及。作為數(shù)據(jù)網絡（DN）的一部分，我們也必須考慮安全因素，特別是在選舉年。我們非常謹慎地處理潛在的錯誤信息，并積極采取措施來應對周圍的風險。今天，解決這些問題已成為我們研究道路上的重要任務之一。
18、對于Sora未來的研究方向，你有什么想說的？
Brooks：我們希望，Sora能夠通過分析所有視覺數(shù)據(jù)，實現(xiàn)對世界有更深入的理解，甚至能夠理解3D。這是非常令人興奮的，因為我們并沒有直接將3D信息輸入其中，而是讓它通過觀察視頻數(shù)據(jù)自行學習。它能夠理解在視頻中存在的3D結構，比如，它知道了當你咬下一口漢堡時，會留下咬痕。因此，它對我們的世界有了更深入的了解。當我們與世界互動時，大部分信息都是視覺的，我們所學習的也是視覺信息。因此，我們確實相信，引領AI模型變得更智能、更優(yōu)秀，讓它們像我們一樣理解世界是非常重要的。我們的世界充滿了復雜性，有很多關于人們如何互動、事情如何發(fā)生、過去的事件如何影響未來的事件的內容，這實際上會導致比生成視頻更廣泛的更智能的AI模型。人類的許多智慧實際上與我們對世界的建模有關。每當我們考慮如何行動時，我們都會在腦海中構想場景，憑借著想象力演繹各種可能情景。在實際行動之前，我們會思考：“如果我這樣做，會發(fā)生什么？如果我那樣做，會有什么后果？”所以我們有一個世界模型，將Sora構建為世界模型，與人類擁有的大部分智能非常相似。
19、我們是如何讓Sora擁有與人類非常相似的世界模型，而不是像物理引擎那樣完全精確的東西呢？
Peebles：我們知道，人類的認知并不總是十分準確，所以我們無法做到完全精確。當我們深入研究一組非常狹窄的物理規(guī)律，并進行長期預測時，我們可以通過一些系統(tǒng)來改進我們的理解。因此，我們對Sora的前景持樂觀態(tài)度，認為它能夠在某一天取代這種能力。從長遠來看，我們希望它能夠比人類更好地扮演世界模型的角色。但是，我們也必須認識到，對于其他類型的智能來說，這種能力并不總是必需的。盡管如此，對于Sora和其他模型來說，未來仍然會有改進的空間。
20、你認為公眾對視頻模型有什么誤解嗎？
Ramesh：對于公眾來說，Sora的發(fā)布可能是最大的更新。正如Bill和Tim所說，在內部，我們一直在將Sora與GPT模型進行比較。當GPT-1和GPT-2問世時，人們開始越來越清楚地認識到，只需擴大這些模型的規(guī)模就能賦予它們驚人的能力。
目前還不清楚，擴大下一個標記預測的規(guī)模是否會產生一個有助于編寫代碼的語言模型。對我們來說，很明顯，將同樣的方法應用于視頻模型也會帶來非常驚人的能力。我認為Sora 1的發(fā)布證明了這一點，現(xiàn)在我們站在了縮放曲線上的一個關鍵點。我們對此感到非常興奮。Peebles：正如Tim和Aditya所暗示的那樣，我們確實覺得視頻模型正處于GPT-1的時刻，但這些模型很快就會變得更好。我們對此感到非常興奮，因為我們相信，這將為創(chuàng)意世界帶來難以置信的好處。雖然實現(xiàn)AGI還需要時間，但我們正在努力確保安全問題得到充分考慮，并建立一個強大的技術基礎，以確保社會真正從中受益，同時減輕潛在的負面影響。盡管我們面臨挑戰(zhàn)，但現(xiàn)在確實是一個令人振奮的時刻，我們迫切地想要知道未來模型能夠實現(xiàn)什么。
來源：No Priors（本文系網易新聞?網易號特色內容激勵計劃簽約賬號【智東西】原創(chuàng)內容，未經賬號授權，禁止隨意轉載。）
