3501
分享嘉賓｜王緒剛 歐拉智能創(chuàng)始人&CEO
對話式分析讓用戶可以通過自然語言交互方式獲取數(shù)據(jù)洞察，能夠有效降低數(shù)據(jù)分析門檻，提升數(shù)據(jù)開發(fā)效率，讓數(shù)據(jù)分析結(jié)果更加貼合業(yè)務(wù)語言，促進(jìn)企業(yè)內(nèi)部數(shù)據(jù)價值釋放。大模型帶來的能力突破，進(jìn)一步讓對話式分析成為企業(yè)用戶關(guān)注的熱點數(shù)據(jù)應(yīng)用。
本次分享將圍繞圖模型與大語言模型相互結(jié)合，在數(shù)據(jù)分析場景下的應(yīng)用與實踐展開。
此次分享想和大家探討的是如何將大型的圖模型與大語言模型相結(jié)合，以怎樣構(gòu)建數(shù)據(jù)分析輔助系統(tǒng)Copilot。
在大語言模型尚未被廣泛采納的2019年，我們團(tuán)隊就已經(jīng)開始研究并開發(fā)基于問答方式的數(shù)據(jù)分析產(chǎn)品。盡管當(dāng)時我們應(yīng)用的是稍小型的語言模型以及確定性語言模型，但我們更加關(guān)注的是數(shù)據(jù)分析的深度，而非僅僅是用戶界面的交互。因此，我們始終堅持將圖模型作為我們整體數(shù)據(jù)計算和儲存的核心底層技術(shù)。
基于該背景，接下來我會從三個方面詳細(xì)進(jìn)行闡述：
第一，數(shù)據(jù)分析目前遇到了哪些困境，大語言模型可以為我們帶來哪些機(jī)遇。
第二，圖模型作為整個數(shù)據(jù)處理引擎和數(shù)據(jù)底層架構(gòu)有哪些優(yōu)勢，為什么與大語言模型之間具有強大的互補性。
第三，與大家共享一些實踐案例，以及聊聊對未來應(yīng)用方向的探索和嘗試。
01、數(shù)據(jù)分析困境與大模型的機(jī)遇
首先，我們需要在整體上理解數(shù)據(jù)分析。從最早的報表分析到自助式BI，再到現(xiàn)在的增強式BI，數(shù)據(jù)分析在企業(yè)內(nèi)部扮演著至關(guān)重要的角色，它主要服務(wù)于企業(yè)或機(jī)構(gòu)的整體決策流程。無論是企業(yè)內(nèi)部數(shù)據(jù)還是外部數(shù)據(jù)，都需要利用數(shù)據(jù)進(jìn)行決策。
然而，在實際的數(shù)據(jù)分析過程中，中國與美國、歐洲國家之間存在顯著差異，在西方科技背景較濃厚的國家，他們的數(shù)據(jù)分析落地實踐案例已經(jīng)超出我們當(dāng)前的水平多達(dá)5-10年，在數(shù)據(jù)分析科學(xué)素養(yǎng)和決策流程管理的整體使用覆蓋率都遠(yuǎn)超過我們國內(nèi)水平。
究其原因，主要是因為在國內(nèi)的企業(yè)環(huán)境中，缺乏的是既熟知企業(yè)內(nèi)部業(yè)務(wù)知識，又掌握數(shù)據(jù)結(jié)構(gòu)且具備數(shù)據(jù)建模能力的人才，這實際上就是阻礙企業(yè)內(nèi)部數(shù)據(jù)轉(zhuǎn)變?yōu)閼?yīng)用或價值的一個頗為重要的瓶頸。在此基礎(chǔ)上，我們的整個的業(yè)務(wù)團(tuán)隊，其能力實際上無法理解，或者只是了解一些技術(shù)術(shù)語，只能提供關(guān)于業(yè)務(wù)問題的基本描繪。
而技術(shù)團(tuán)隊其實大部分并未具備業(yè)務(wù)知識，同樣也缺乏對業(yè)務(wù)整體需求的理解，他們需要與技術(shù)、業(yè)務(wù)團(tuán)隊反復(fù)溝通需求，不斷地撰寫程序，或者編寫一些腳本、SQL，甚至源代碼來調(diào)整數(shù)據(jù)模型。也就是說，我們目前缺乏一種能力，將商業(yè)邏輯和技術(shù)邏輯銜接起來，進(jìn)而使得原本具備巨大價值的數(shù)據(jù)得以充分發(fā)揮其價值。
另一方面，企業(yè)內(nèi)部擁有豐富的知識儲備，這些并非如同自然語言一樣可隨意表達(dá)，甚至存在部分專屬的獨有設(shè)定。那么如何將企業(yè)內(nèi)部的結(jié)構(gòu)化知識進(jìn)行推廣，以便為大語言模型提供理解情境的能力？同時，未來或許將會出現(xiàn)類似于人腦思考的對話模式，原因何在呢？
實際上，在我們觀察企業(yè)內(nèi)部時，并非所有人都對業(yè)務(wù)問題都有所關(guān)注。許多人可能并未深入了解企業(yè)內(nèi)部的業(yè)務(wù)運作，盡管他們在商業(yè)策略上頗有想法，但在業(yè)務(wù)專業(yè)化程度上卻未必能達(dá)到相應(yīng)的高度。因此，我們期待我們的系統(tǒng)能夠具備像人一樣的思考能力，能夠為他們提供推理和聯(lián)想的功能以解決問題。
如此一來，我們才能夠真正實現(xiàn)所謂的對話式數(shù)據(jù)分析，而我們選擇使用圖模型的原因也在于洞察到了圖架構(gòu)在實際應(yīng)用中的優(yōu)勢。
02、圖模型的優(yōu)勢與互補性
2.1 大型圖模型的優(yōu)勢
眾所周知，圖模型由節(jié)點與邊構(gòu)成，采用實體與關(guān)系的表述方式用于描述我們所接觸的各種事物，這一處理方式突破了傳統(tǒng)表格的表達(dá)局限，將點與邊提升至第一級別，使得所有計算轉(zhuǎn)變?yōu)榛趫D的游走式計算，這種方式相對來說計算與表達(dá)更為直接，更貼近人類自然語言的主謂賓定狀表達(dá)方式。
因此，圖模型在計算過程中利用空間來替換時間，從而避免了傳統(tǒng)關(guān)系數(shù)據(jù)庫中跨表校驗分析緩慢以及模型固化的問題，保證了其即時性與靈活性，更滿足了人機(jī)對話的需求。同時，圖模型本身的語義對話表達(dá)效果較好，采用三元組的表示方式來表示一切多元異構(gòu)數(shù)據(jù)，可以被視為一種語義化的數(shù)據(jù)編織。在此過程中，圖模型還為企業(yè)內(nèi)部的數(shù)據(jù)治理提出了一定標(biāo)準(zhǔn)，使得業(yè)務(wù)人員能夠直接進(jìn)行解讀與訪問。
事實上，當(dāng)我們在構(gòu)建特定場景或多個場景的全過程中，可以邀請業(yè)務(wù)人員參與其中，由于業(yè)務(wù)人員對整個建模過程有較深理解，采用語義知識圖結(jié)構(gòu)更便于理解，因此，這種知識結(jié)構(gòu)可以自動生成知識內(nèi)容進(jìn)行推廣，因為它本身就是一種貼近語義化的表達(dá)方式。
近來一些論文中其實有探討采用這種圖形結(jié)構(gòu)來生成自然語言的Prompt，這種語義豐富的Prompt在我們能夠精確地定位問題實體和路徑時，便可以將更多的先驗知識轉(zhuǎn)移至接近當(dāng)前問題的求解階段，從而在大語言模型解答問題時，可以獲得更豐富的知識儲備，由此帶來更好效果。
另一個重要的觀點是，圖形本身擅長表達(dá)概率。例如，貝葉斯網(wǎng)絡(luò)和馬爾可夫矩陣模型都是典型的圖形結(jié)構(gòu)，許多數(shù)據(jù)挖掘模型也可以通過圖形來表示。當(dāng)圖形結(jié)構(gòu)涵蓋到神經(jīng)網(wǎng)絡(luò)中的GNN深度等，便可解決許多預(yù)測性問題，并呈現(xiàn)出語義上的可解釋性，因而可以解答可能性問題。這使得在結(jié)構(gòu)化數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘，以及回答可能性問題成為可能，而這正是大量其他數(shù)據(jù)模型所不具備的優(yōu)勢。
2.2 常見圖模型解讀
下面，我們簡單分享一下我們常見的建模過程中涉及的一些圖模型。
第一，知識圖譜，這也是我們最常見的。知識圖譜以靜態(tài)的概念和關(guān)系來描述實體語義，它可以看作是一種屬性圖的表達(dá)式，我們企此內(nèi)部大量的主數(shù)據(jù)都可以通過這種知識圖譜進(jìn)行表達(dá)。
第二，事件（行為）型網(wǎng)絡(luò)結(jié)構(gòu)。這是一種使用主謂賓結(jié)構(gòu)來描述發(fā)生的事件的方式，它可以表達(dá)我們的許多事務(wù)性操作。我們常見的許多表結(jié)構(gòu)實際上是知識圖譜結(jié)構(gòu)和事件行為網(wǎng)絡(luò)結(jié)構(gòu)的結(jié)合體，這兩種結(jié)構(gòu)的結(jié)合使得我們可以將許多表結(jié)構(gòu)進(jìn)行相應(yīng)的映射。
第三，特殊類型網(wǎng)絡(luò)，比如網(wǎng)絡(luò)結(jié)構(gòu)。這是一種原生的top圖譜結(jié)構(gòu)，例如數(shù)字的top網(wǎng)絡(luò)，人的社交關(guān)系、投資關(guān)系、資金的交易關(guān)系，以及物理的拓?fù)渚W(wǎng)絡(luò)，如服務(wù)器的網(wǎng)絡(luò)，這些都是我們常見的原始網(wǎng)絡(luò)結(jié)構(gòu)。
第四，其他類型網(wǎng)絡(luò)，如狀態(tài)序列圖和概率性網(wǎng)絡(luò)。狀態(tài)序列圖是指每個狀態(tài)隨時間遷移而改變的網(wǎng)絡(luò)，概率網(wǎng)絡(luò)是指，像貝葉斯網(wǎng)絡(luò)那樣，其先驗條件可以與后續(xù)知識以及后續(xù)結(jié)果之間產(chǎn)生一定的概率關(guān)系，這便構(gòu)成了一個概率性網(wǎng)絡(luò)。
我們常見的許多數(shù)據(jù)表達(dá)通常是多種網(wǎng)絡(luò)的融合，從而構(gòu)成了我們現(xiàn)在的建模方法。因此我們需要將傳統(tǒng)的表結(jié)構(gòu)抽象為圖形結(jié)構(gòu)，在此過程中，會涉及許多建模規(guī)范，如實體選擇原則、 實體選擇原則、 實體選擇原則等各種關(guān)聯(lián)性原則。
03、圖模型的典型實踐與應(yīng)用模式
接下來會重點分享一些典型的實踐及常見的應(yīng)用模式，我選了在營銷這個大領(lǐng)域下兩個具有代表性的應(yīng)用場景，分別是商品研究與用戶研究。前者是研究商品應(yīng)該如何進(jìn)行設(shè)計，后者主要關(guān)注如何進(jìn)行私域用戶的運營，并進(jìn)行用戶畫像的研究。
3.1 圖模型基于商品研究場景下的應(yīng)用
在先前的討論中，我們明確提出要建立一個如上圖所示的結(jié)構(gòu)，實際上就是將我們傳統(tǒng)在關(guān)聯(lián)數(shù)據(jù)庫的結(jié)構(gòu)細(xì)化至最微小的顆粒度。以此方式，我們將從這些最微小的顆粒度中抽離出實體關(guān)系的實證模型，也許我們可以稱之為恢復(fù)數(shù)據(jù)原始狀態(tài)，所有的計算都是基于這樣的一個最微小顆粒的數(shù)據(jù)實時進(jìn)行。
因此，我們有一套工具根據(jù)上述設(shè)計原則，將表結(jié)構(gòu)抽象成一個圖形結(jié)構(gòu)。例如，我們在此處所看到的圖形結(jié)構(gòu)實際上是對一個商品及其用戶反饋需求反饋的一系列描述的知識結(jié)構(gòu)。
在一些簡單的問答式場景下，我們可以采取單次推進(jìn)的模式，那么這個數(shù)據(jù)流的整個過程就是：首先用戶會發(fā)出他的問題，它以類似自然語言的形式呈現(xiàn)，這個問題會回歸到圖結(jié)構(gòu)中，我們會把其中的某些實體識別出來，然后依據(jù)現(xiàn)有的實體構(gòu)成再結(jié)合能獲取到的實體及其上下文包含的關(guān)系作為一個推進(jìn)器拋給大模型。
接著，大模型會把相應(yīng)的工作轉(zhuǎn)化為一個路徑，這意味著從我的起點、終點以及可能行駛的路線變?yōu)橐粋€路徑。隨后，這個路徑被丟給了圖形、模型，由圖模型進(jìn)行計算，最終返回給相應(yīng)的應(yīng)用程序，最終完成了這樣一個簡單的交互邏輯。
在此過程中，我們可以將這個語言轉(zhuǎn)換為類SQL的圖形表達(dá)。我們還發(fā)現(xiàn)，扁平和邊際結(jié)構(gòu)的效率相對較高。同時，我們還進(jìn)行了與寬表結(jié)構(gòu)的對比測試，發(fā)現(xiàn)在識別的準(zhǔn)確度分析的準(zhǔn)確率方面，采用圖形結(jié)構(gòu)相對于寬表結(jié)構(gòu)，識別精度和準(zhǔn)確率可提高近20%，這主要是因為圖形結(jié)構(gòu)給予了更多的上下文信息，賦予了更大的語義空間。
3.2 圖模型基于用戶研究場景下的應(yīng)用
顯然，剛才我們所探討的僅僅是一種簡單的Prompt形式，然而，在其他實際應(yīng)用環(huán)境中，例如私域用戶的系列數(shù)據(jù)，包括其日常營銷行為數(shù)據(jù)、業(yè)務(wù)主數(shù)據(jù)以及用戶畫像數(shù)據(jù)等，它們共同構(gòu)成了一個龐大且繁雜的網(wǎng)絡(luò)。
在面對大型且錯綜復(fù)雜的網(wǎng)絡(luò)時，使用簡單的Prompt或僅僅依賴于簡單的回復(fù)來解決如此復(fù)雜的業(yè)務(wù)問題，通常需要經(jīng)歷非常多的環(huán)節(jié)。此類方式往往會產(chǎn)生大量漂移和無關(guān)信息，很難滿足需求。
因此，我們采取了大語言模型與思維鏈處理模式相結(jié)合的解決方案，即在整個過程中采用多輪問答的形式，一步步地獲取更精確的數(shù)據(jù)結(jié)果。首先，用戶會提出問題，該問題將依據(jù)當(dāng)前的提示模板交給大語言模型處理。在此過程中，大語言模型會將問題分解為多個子任務(wù)，分別調(diào)用相應(yīng)的工具，這些工具將問題抽象成圖表中的檢索路徑生成操作。而整個圖模型還存儲了企業(yè)內(nèi)部的業(yè)務(wù)知識，能準(zhǔn)確地反饋給大語言模型，然后進(jìn)行下一步操作。
當(dāng)然如果此過程中出現(xiàn)token過長的問題，我們也要設(shè)法解決。最終，模型會生成相應(yīng)的分析結(jié)果，并結(jié)合我們的數(shù)據(jù)分析解析模板，生成可解釋的內(nèi)容。
在之前的案例中，經(jīng)過測試，在剔除掉一些過于通用且過長的問題且token有效的情況下，我們可以獲得超過77%的搜問答數(shù)據(jù)分析準(zhǔn)確率，這已經(jīng)是一個不錯的結(jié)果。
3.3 典型應(yīng)用落地場景
接下來讓我們具體了解一下我們實際應(yīng)用中一些產(chǎn)品的落地情況。
第一，實時提問，可視化呈現(xiàn)分析結(jié)果。在該應(yīng)用場景下，整個形態(tài)是問答式，或者說是以搜索框為核心的界面，你可以提出想要了解的信息，例如將某一類用戶畫像與其購買商品的分布情況進(jìn)行關(guān)聯(lián)分析，系統(tǒng)即可實時生成針對該問題的可視化報告，同時也允許你用自然語言替代常見的數(shù)據(jù)庫查詢，來獲取特定屬性的用戶列表，以快速實現(xiàn)信息的提取。
第二， 并行任務(wù)計算。在剛才提到的思維鏈條較為復(fù)雜的工作環(huán)境下，由于其鏈條長度較長，可能需要消耗較大的思考時間。此時，我們可以將該任務(wù)轉(zhuǎn)化為并行計算的模式。例如，可以同時提出多個問題，系統(tǒng)在后臺將對每個問題獨立進(jìn)行計算處理，待計算完畢后，直接將計算結(jié)果返回，實現(xiàn)并行操作。
第三，實現(xiàn)從自然語言到圖路徑。提問環(huán)節(jié)可以將問題轉(zhuǎn)變?yōu)榭梢暬耐緩健ｋm然看上去不像自然語言一樣自然流暢，但如果我們在其中加入一些主謂賓定狀補等語法元素，或者說是輔助的謂詞數(shù)據(jù)，那么它的表現(xiàn)就更貼近于人類自然語言了。這種表達(dá)方式可以幫助你在這上面進(jìn)行相應(yīng)的調(diào)整和修改，從而得出更為精確的答案。此外，分析結(jié)果頁面還提供了自然語言的圖表解釋和解析，以便生成更為詳細(xì)的分析報告。
第四， 定義指標(biāo)的計算語義。至于指標(biāo)的部分，它其實是一個非常重要且具有主觀性的業(yè)務(wù)支持工具。然而，由于定義指標(biāo)的方式多種多樣，同一個指標(biāo)可能會通過不同的語義計算方法和解釋方式來定義。因此，在我們龐大的指標(biāo)庫中，甚至存在一些難以用自然語言清晰地進(jìn)行描述的指標(biāo)，它們往往是一種計算公式。但是在圖結(jié)構(gòu)中，這些指標(biāo)可以非常直觀地用面向?qū)ο蟮姆绞竭M(jìn)行表示，采用路徑的方式進(jìn)行呈現(xiàn)，這樣我們就可以輕松地為每一個指標(biāo)賦予定義，實現(xiàn)直接的搜索功能。
在這個流程中，我們所指定的各類指標(biāo)無需預(yù)先進(jìn)行計算，僅需在提問環(huán)節(jié)提及該指標(biāo)，通過路徑的方式、語義路徑的方式將其展現(xiàn)出來，并將其保存在欲命名的語義中。當(dāng)需要使用該指標(biāo)時，只需通過此前命名的語義將其提取出來，即可按照預(yù)先設(shè)定好的路徑進(jìn)行計算，無需額外的預(yù)計算和存儲工作。
以上幾個場景，都是充分利用了大語言模型的自然表達(dá)形式以及圖模型的實時計算和靈活性，以滿足我們在對話式數(shù)據(jù)分析場景下的需求。
3.4 圖模型+大語言模型在對話式數(shù)據(jù)分析中的應(yīng)用
而在對話式數(shù)據(jù)分析中，圖模型主要適用于靈活性強且主題不明確的場景，具體包括五大類場景。
第一類是數(shù)據(jù)透明化。例如，為某個大型集團(tuán)提供的供應(yīng)鏈分析，由于供應(yīng)鏈本身可能涉及多個業(yè)務(wù)部門，且每個業(yè)務(wù)部門的制造和生產(chǎn)環(huán)節(jié)可能擁有各自的供應(yīng)鏈供應(yīng)商，因此，在供應(yīng)鏈環(huán)境中存在著巨大的風(fēng)險，無論是采購環(huán)節(jié)還是物流環(huán)節(jié)都可能面臨無法預(yù)料的波動。企業(yè)內(nèi)部決策層需要全面掌握整體數(shù)據(jù)狀況。傳統(tǒng)的方法只能提供一些綜合報表，這些報表無法顯示原始數(shù)據(jù)，也無法準(zhǔn)確判斷數(shù)據(jù)的真實性。
但是，如果一旦采用數(shù)據(jù)問答的模式，高管們僅需進(jìn)行簡單的提問，便可從不同角度對供應(yīng)鏈的健康狀況進(jìn)行驗證或測試。在某些異常情況下，他們還能回溯所有數(shù)據(jù)源，查看最詳細(xì)的明細(xì)數(shù)據(jù)如何被計算，從而獲取全面的管理透明度。簡言之，通過這種方式，我們可以利用數(shù)據(jù)進(jìn)行有效的管理透明化。
第二類是靈活取數(shù)。對于一些大型公司而言，集團(tuán)的數(shù)據(jù)往往由數(shù)據(jù)中臺進(jìn)行管理，因此，數(shù)據(jù)中臺工作人員的能力往往成為數(shù)據(jù)決策的瓶頸。而一線團(tuán)隊，如子公司、事業(yè)部乃至門店，都有著自身獨特的數(shù)據(jù)分析需求。面向一線員工，如何建立一套靈活自選的取數(shù)和數(shù)據(jù)分析平臺，這也是對話式數(shù)據(jù)分析中的一個重要應(yīng)用場景。
第三類是實時數(shù)據(jù)探索。這種情況主要適用于情報分析、公安監(jiān)控以及監(jiān)管等行業(yè)，他們需要在海量的數(shù)據(jù)中抽絲剝繭，尋找新的線索并據(jù)此進(jìn)行后續(xù)決策。在此環(huán)節(jié)中，往往無法預(yù)知下一步的工作細(xì)節(jié)，因此必須通過逐步探究的方式一點點深入探索，因此對于實時數(shù)據(jù)實時建模的能力有著極高的要求。在這種情況下，使用圖神經(jīng)網(wǎng)絡(luò)語言模型將是一種極為有效的解決方案。
第四類是策略性分析。這一類主要以營銷類型的策略分析為主，由于營銷領(lǐng)域的外部環(huán)境存在眾多不確定性，如消費點位、媒體用戶數(shù)量、文案內(nèi)容等，同時營銷折扣、優(yōu)惠等也存在很多可能性。這些不確定因素需要根據(jù)用戶反饋與實際營銷過程作出調(diào)整，以實現(xiàn)整體優(yōu)化。在整個調(diào)整過程中，需要持續(xù)地進(jìn)行策略性調(diào)整，從而需要實時獲取數(shù)據(jù)結(jié)果以便進(jìn)行相應(yīng)調(diào)整。
第五類是可解釋的預(yù)測。這也是圖神經(jīng)網(wǎng)絡(luò)最大的優(yōu)勢之一，即能將圖模型與深度模型相結(jié)合進(jìn)行推薦或預(yù)測，使分析結(jié)果具備語義解釋性，便于后續(xù)執(zhí)行人員理解和解釋，進(jìn)而提供更具說服力的決策依據(jù)。
以上就是本次基于大語言模型和圖模型在對話數(shù)據(jù)分析應(yīng)用場景下的結(jié)合與實踐應(yīng)用講解。
王緒剛，北京歐拉認(rèn)知智能科技有限公司創(chuàng)始人，擁有人工智能方向博士學(xué)位，國內(nèi)人工智能與圖計算方面資深科學(xué)家，“圖計算”概念的提出者和最早專利的發(fā)明人，目前擁有超過10多項圖計算方面的發(fā)明專利。曾擔(dān)任中科院軟件所助理研究員、客座副研究員、中國移動卓望集團(tuán)數(shù)據(jù)平臺研發(fā)總監(jiān)等職務(wù)。帶領(lǐng)國內(nèi)一流的數(shù)據(jù)科學(xué)家團(tuán)隊，為多家世界500強企業(yè)數(shù)字化轉(zhuǎn)型提供服務(wù)，通過人工智能與圖計算技術(shù)幫助企業(yè)實現(xiàn)數(shù)字智能化轉(zhuǎn)型。
下載ECAD模型
