2558
隨著科技的飛速發(fā)展，人工智能已經(jīng)成為當(dāng)今世界最為炙手可熱的話題。盡管如今人工智能、大模型的發(fā)展頻頻陷入“抄襲”泥潭，但不可否認(rèn)的是，這些技術(shù)正切實(shí)地為各個(gè)行業(yè)的發(fā)展“添磚加瓦”。
近日，中國電信宣布將自研的星辰大模型全面開源，同時(shí)開放1T高質(zhì)量清洗數(shù)據(jù)集，正式成為央企中首個(gè)完成LLM開源的“選手”。去年12月，阿里云正式發(fā)布并開源“業(yè)界最強(qiáng)開源大模型”通義千問720億參數(shù)模型Qwen-72B。今年1月17日，商湯科技與上海AI實(shí)驗(yàn)室聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)發(fā)布的新一代大語言模型書?·浦語2.0也宣布開源。隨著國內(nèi)外越來越多的大模型官宣開源，大模型賽道正式迎來“開源熱”。
01、開源正在改變大模型的發(fā)展路徑
長久以來，開源都是互聯(lián)網(wǎng)時(shí)代的主流模式之一。2017年，中國發(fā)布的《新一代人工智能發(fā)展規(guī)劃》將開源、開放作為基本原則寫入了規(guī)劃。2023年，科技部副部長吳朝暉也表示，中國堅(jiān)持開源協(xié)作，加強(qiáng)大模型技術(shù)持續(xù)創(chuàng)新，協(xié)同解決透明性、穩(wěn)定性等共性問題，進(jìn)一步推動(dòng)算力資源和數(shù)字資源開放共享，加快形成大模型的產(chǎn)業(yè)生態(tài)。
2023年4月，由復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室開發(fā)的新版MOSS模型正式上線，成為國內(nèi)首個(gè)插件增強(qiáng)的開源對話語言模型，MOSS的成功開源成為我國人工智能領(lǐng)域的重要突破之一。大模型開源可促進(jìn)大模型的研究和開發(fā)，有助于提高模型的應(yīng)用價(jià)值，推動(dòng)人工智能技術(shù)的普及，增強(qiáng)模型的可靠性和安全性。
據(jù)了解，目前我國國內(nèi)開源大模型包括大語言模型、多模態(tài)大模型、向量大模型、編程大模型和AI Agent框架/模型等5類；開源的參數(shù)規(guī)模分為五類：7B、13B、34B、65B、100B。目前國產(chǎn)開源大模型的最高參數(shù)規(guī)模為浪潮信息的“源2.0”大模型，最大參數(shù)規(guī)模為102B，達(dá)到千億級。
來源：天翼智庫
不僅僅是國內(nèi)大模型，不少國外知名大模型也進(jìn)行了開源，如Meta的LLama、OPT，谷歌的T5、MT5、FLAN-T5以及UU2，BigScience的BLOOM、T0、BLOOMZ等等。Meta 首席 AI 科學(xué)家、圖靈獎(jiǎng)獲得者 Yann LeCun 就曾表示，開源人工智能模型正走在超越專有模型的路上。
02、“向陽而生”的開源大模型
隨著開源技術(shù)占據(jù)各大新興領(lǐng)域的技術(shù)路線，其不斷豐富人工智能領(lǐng)域的應(yīng)用場景。開源大模型可以促進(jìn)技術(shù)的共享和交流，加速人工智能的發(fā)展，但也存在數(shù)據(jù)隱私安全風(fēng)險(xiǎn)、許可協(xié)議尚未形成共識、產(chǎn)業(yè)生態(tài)不健全、商業(yè)模式不清晰等問題。中國信通院云計(jì)算開源產(chǎn)業(yè)聯(lián)盟發(fā)布的《可信開源人工智能大模型案例匯編》中指出，模型框架、模型代碼、模型參數(shù)、訓(xùn)練數(shù)據(jù)四個(gè)方面是衡量其開源成熟度的重要評定等級。
訓(xùn)練大模型需極大的算力，開發(fā)成本高昂，而開源大模型雖然節(jié)省了企業(yè)訓(xùn)練階段的算力消耗，但據(jù)統(tǒng)計(jì)達(dá)到一定用戶量級的應(yīng)用，推理階段的算力消耗為訓(xùn)練階段的5-10倍。大模型開源以及其背后的開放生態(tài)，將帶來廣泛滲透的多場景大模型應(yīng)用以及更大的算力消耗，為算力產(chǎn)業(yè)培育“模型越強(qiáng)、應(yīng)用越多、用戶越廣、算力越大”的市場飛輪。技術(shù)本身不斷迭代演進(jìn)，第三方參與者匯聚成洪流，未來才可能成為大模型時(shí)代的技術(shù)底座。
作為我國首個(gè)開源的運(yùn)營商大模型，星辰系列大模型由中國電信完全自主研發(fā)的，從2022年12月份開始投入研發(fā)，不到1年時(shí)間實(shí)現(xiàn)了多項(xiàng)技術(shù)的創(chuàng)新突破。在模型結(jié)構(gòu)方面，通過引入Embedding LayerNorm等創(chuàng)新方法，強(qiáng)化模型穩(wěn)定性，提高模型訓(xùn)練速度20%；通過創(chuàng)新位置編碼的方式，提升模型上下文推理長度至96k，推理長度還在持續(xù)增加；在產(chǎn)業(yè)應(yīng)用方面，為了增強(qiáng)模型的商用性，千億級星辰語義大模型在業(yè)界首次提出緩解多輪幻覺的解決方案，通過關(guān)鍵信息注意力增強(qiáng)技術(shù)、多輪知識記憶和強(qiáng)化技術(shù)等手段，幻覺率下降了40%；在模型加速方面，通過3D模型訓(xùn)練的方式配合量化技術(shù)，實(shí)現(xiàn)訓(xùn)練顯存降低50%，推理提速4.5倍。
目前在我國，開源人工智能大模型已應(yīng)用于醫(yī)療、政務(wù)、法律、汽車、娛樂、金融、互聯(lián)網(wǎng)、教育、制造業(yè)、企業(yè)服務(wù)等多個(gè)場景。作為運(yùn)營商，中國電信的優(yōu)勢不僅在于目標(biāo)客戶群體的儲備體量驚人，更在于能夠?yàn)樗麄兲峁V泛服務(wù)。而模型開源將推動(dòng)實(shí)現(xiàn)大模型產(chǎn)業(yè)發(fā)展的供給側(cè)、需求側(cè)雙向發(fā)力，對大模型基礎(chǔ)設(shè)施運(yùn)營、技術(shù)迭代創(chuàng)新、開放生態(tài)建設(shè)帶來積極影響，將加速推動(dòng)大模型產(chǎn)業(yè)化應(yīng)用，助力產(chǎn)業(yè)升級。
在國際技術(shù)和算力封鎖的雙重壓力下，高質(zhì)量的數(shù)據(jù)、高水平的技術(shù)人才，以及大模型的算法創(chuàng)新都是AI行業(yè)發(fā)展的短板。持續(xù)開源基礎(chǔ)大模型，廣泛地賦能更多的用戶場景加速應(yīng)用落地，聯(lián)合各類合作伙伴打造大模型信創(chuàng)產(chǎn)業(yè)體系，不管2024年是開源大模型的爆發(fā)之年，還是開源大模型不斷超越專有模型的一年，相信我國大模型發(fā)展都將在全球大模型發(fā)展的繪卷上留下了濃墨重彩的一筆。
作者：王鶴迦
責(zé)編/版式：王禹蓉
審校：王 濤?梅雅鑫
監(jiān)制：劉啟誠
下載ECAD模型
