以底層數(shù)據(jù)能力為核心，構(gòu)建實(shí)時(shí)指標(biāo)平臺(tái)，助力企業(yè)數(shù)字化經(jīng)營(yíng)

現(xiàn)在的數(shù)字化經(jīng)濟(jì)時(shí)代，企業(yè)經(jīng)營(yíng)方式在改變，當(dāng)業(yè)務(wù)環(huán)境變化較大時(shí)，對(duì)指標(biāo)平臺(tái)的構(gòu)建和指標(biāo)數(shù)據(jù)的實(shí)時(shí)性要求比較高，今天將從企業(yè)使用指標(biāo)平臺(tái)的痛點(diǎn)出發(fā)，分享基于StarRocks構(gòu)建實(shí)時(shí)指標(biāo)平臺(tái)的建設(shè)路徑，以及典型銀行的實(shí)踐案例。

01、企業(yè)經(jīng)營(yíng)方式的變化

當(dāng)前互聯(lián)網(wǎng)人口紅利見(jiàn)頂，競(jìng)爭(zhēng)加劇，成本不斷上漲，企業(yè)發(fā)展腳步也開(kāi)始放緩。如何有效地制定企業(yè)的發(fā)展方針，確保企業(yè)繼續(xù)增長(zhǎng)，是一個(gè)巨大挑戰(zhàn)。如果企業(yè)效率更高，應(yīng)對(duì)市場(chǎng)變化的動(dòng)作更快，就更容易脫穎而出。這種高效決策的前提條件是需要有強(qiáng)大的數(shù)據(jù)支撐。依靠數(shù)據(jù)做決策才可以幫助企業(yè)突破發(fā)展停滯的局面，形成企業(yè)的核心競(jìng)爭(zhēng)力。因此，數(shù)字化對(duì)于企業(yè)來(lái)說(shuō)是戰(zhàn)略級(jí)的能力。

過(guò)去的人口資本紅利，帶來(lái)的是一種愿望式、粗放式的決策方式。很多傳統(tǒng)企業(yè)的決策方式更多依賴于個(gè)人自身的經(jīng)驗(yàn)。比如“我認(rèn)為市場(chǎng)會(huì)怎么樣？”“我認(rèn)為受眾會(huì)喜歡什么樣的產(chǎn)品？”基于自身的主觀經(jīng)驗(yàn)對(duì)行業(yè)的理解做出的決策，大部分更像是一種賭博行為。因?yàn)槿说乃伎蓟蛘呷说臎Q策不一定是準(zhǔn)確的，一旦對(duì)市場(chǎng)的判斷失誤，很有可能把整個(gè)企業(yè)拖入泥潭。以前的企業(yè)運(yùn)營(yíng)和經(jīng)營(yíng)是分開(kāi)的。執(zhí)行運(yùn)營(yíng)動(dòng)作后，得到的數(shù)據(jù)再向上反饋存在很長(zhǎng)的時(shí)間延遲，而且所有數(shù)據(jù)來(lái)源對(duì)上層人員來(lái)說(shuō)是不透明的，不清楚數(shù)據(jù)的來(lái)源。在當(dāng)前數(shù)字化時(shí)代，運(yùn)營(yíng)為企業(yè)經(jīng)營(yíng)決策提供數(shù)據(jù)支持，以數(shù)據(jù)作為企業(yè)決策的理論依據(jù)，可以實(shí)現(xiàn)決策的標(biāo)準(zhǔn)化，確保決策有跡可循。真正擺脫了“沒(méi)有決策，數(shù)字化是空洞的；脫離了數(shù)字化，決策是盲目的”。數(shù)字化輔助決策是大勢(shì)所趨。指標(biāo)平臺(tái)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式支持企業(yè)在各個(gè)業(yè)務(wù)環(huán)節(jié)中的優(yōu)化和創(chuàng)新，可以幫助企業(yè)快速構(gòu)建整個(gè)數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)和決策的能力，提升決策的科學(xué)性和效率，從而提升企業(yè)應(yīng)對(duì)市場(chǎng)變化的響應(yīng)速度。這是企業(yè)實(shí)現(xiàn)數(shù)字化運(yùn)營(yíng)的關(guān)鍵工具和基礎(chǔ)設(shè)施。

指標(biāo)平臺(tái)的代際演進(jìn)可以分為三個(gè)階段:

首先是以傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)為主，通過(guò)生成固定報(bào)表進(jìn)行業(yè)務(wù)的靜態(tài)分析。隨著業(yè)務(wù)的擴(kuò)展和數(shù)據(jù)量的增長(zhǎng)，企業(yè)對(duì)指標(biāo)的靈活性和數(shù)據(jù)規(guī)模提出了更高要求。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)難以滿足業(yè)務(wù)需求，企業(yè)開(kāi)始進(jìn)入OLAP分析階段。隨著業(yè)務(wù)需求的變化，企業(yè)需要進(jìn)行多維分析或預(yù)計(jì)算，這時(shí)會(huì)引入一些數(shù)據(jù)化產(chǎn)品。然而，隨著引入產(chǎn)品的增加，整個(gè)分析層架構(gòu)會(huì)變得越來(lái)越復(fù)雜，數(shù)據(jù)存儲(chǔ)在多個(gè)產(chǎn)品中，很容易導(dǎo)致數(shù)據(jù)口徑不一致的問(wèn)題，甚至形成數(shù)據(jù)孤島。上述問(wèn)題引出了統(tǒng)一數(shù)據(jù)源的需求，以實(shí)現(xiàn)整個(gè)數(shù)據(jù)口徑的一致性，因此數(shù)據(jù)湖的概念應(yīng)運(yùn)而生。因此，第三個(gè)階段是智能化+數(shù)據(jù)湖倉(cāng)階段，將智能數(shù)據(jù)湖倉(cāng)作為指標(biāo)平臺(tái)的數(shù)據(jù)基礎(chǔ)。大多數(shù)指標(biāo)平臺(tái)實(shí)際上處于第二個(gè)階段。在這個(gè)階段，存在哪些痛點(diǎn)呢？

第一個(gè)問(wèn)題是指標(biāo)追溯困難。許多指標(biāo)的計(jì)算，尤其是多層次或派生指標(biāo)的計(jì)算，計(jì)算鏈路過(guò)長(zhǎng)且復(fù)雜。一旦出現(xiàn)問(wèn)題，很難確定出現(xiàn)問(wèn)題的具體環(huán)節(jié)，導(dǎo)致溯源成本極高。

第二個(gè)問(wèn)題是指標(biāo)口徑不一致。不同部門或團(tuán)隊(duì)之間數(shù)據(jù)孤立，當(dāng)數(shù)據(jù)存儲(chǔ)在多個(gè)產(chǎn)品中時(shí)，無(wú)法確定使用的是哪個(gè)產(chǎn)品的數(shù)據(jù)，最終導(dǎo)致數(shù)據(jù)口徑不一致。

第三個(gè)問(wèn)題是用戶體驗(yàn)差。如果底層數(shù)據(jù)基礎(chǔ)設(shè)施性能不佳，將直接影響上層指標(biāo)計(jì)算和分析的速度，使使用體驗(yàn)變慢。第四個(gè)問(wèn)題是高運(yùn)維成本。一個(gè)指標(biāo)平臺(tái)可能需要維護(hù)多個(gè)數(shù)據(jù)產(chǎn)品，同時(shí)運(yùn)維成本較高，且整個(gè)指標(biāo)的開(kāi)發(fā)周期長(zhǎng)，建設(shè)成本也高。第五個(gè)問(wèn)題是分析效率低下以及數(shù)據(jù)治理問(wèn)題。了解了指標(biāo)平臺(tái)的典型痛點(diǎn)，就能明白優(yōu)秀的指標(biāo)平臺(tái)應(yīng)具備哪些能力。我們認(rèn)為好的指標(biāo)平臺(tái)應(yīng)該具備以下8個(gè)核心能力：

02、以底層數(shù)據(jù)能力為核心的指標(biāo)平臺(tái)建設(shè)方案

優(yōu)秀的指標(biāo)平臺(tái)離不開(kāi)底層數(shù)據(jù)庫(kù)建設(shè)，鏡舟科技基于開(kāi)源產(chǎn)品StarRocks的核心能力構(gòu)建指標(biāo)平臺(tái)解決方案，為上層數(shù)據(jù)消費(fèi)、應(yīng)用打好數(shù)據(jù)基礎(chǔ)。

首先，向量化、CBO優(yōu)化器、Pipeline、Runtime Filter等核心能力為用戶帶來(lái)了極致的查詢體驗(yàn)。通過(guò)這些技術(shù)，用戶可以享受到自動(dòng)化運(yùn)行，無(wú)需承擔(dān)過(guò)多學(xué)習(xí)成本，直接開(kāi)箱即用，將整個(gè)數(shù)據(jù)庫(kù)性能發(fā)揮到90%以上，而用戶幾乎感受不到這些背后的技術(shù)細(xì)節(jié)。

其次，StarRocks具有豐富的監(jiān)控指標(biāo)，結(jié)合Grafana + Prometheus能夠快速構(gòu)建可視化監(jiān)控平臺(tái)。在此基礎(chǔ)上，StarRocks企業(yè)版產(chǎn)品“鏡舟分析型數(shù)據(jù)庫(kù)”提供了可視化的運(yùn)維管理平臺(tái)，使用者進(jìn)行監(jiān)控管理和運(yùn)維變得更加便捷。即使是新手員工，在經(jīng)過(guò)短短一個(gè)小時(shí)的熟悉后，就能夠操作數(shù)據(jù)庫(kù)產(chǎn)品，進(jìn)行界面化集群部署、節(jié)點(diǎn)的上下線、集群擴(kuò)縮容、慢查詢分析等操作。

此外，Spill-Down技術(shù)可以提升大規(guī)模數(shù)據(jù)量復(fù)雜查詢的穩(wěn)定性，突破內(nèi)存空間的限制。通過(guò)Spill-Down，系統(tǒng)能夠更有效地處理大量數(shù)據(jù)和復(fù)雜查詢，確保查詢的穩(wěn)定性和性能。另外，Multi-Warehouse功能可以實(shí)現(xiàn)多租戶的資源管理。在不同業(yè)務(wù)方使用指標(biāo)平臺(tái)時(shí)，可能存在作業(yè)量大、并發(fā)度高的情況，這可能導(dǎo)致資源搶占現(xiàn)象，對(duì)底層數(shù)據(jù)庫(kù)的資源隔離提出更高要求。如果資源隔離效果不佳，可能會(huì)影響整個(gè)查詢的穩(wěn)定性。有些作業(yè)可能并不重要，卻占用了大量資源，而一些高優(yōu)先級(jí)的作業(yè)（比如領(lǐng)導(dǎo)駕駛艙等）卻無(wú)法獲得足夠的資源。

Multi-Warehouse功能能夠完美解決這類問(wèn)題，有效管理多個(gè)租戶之間的資源分配，提高系統(tǒng)的資源利用效率。最后，存算分離和湖倉(cāng)分析等技術(shù)能夠解決存儲(chǔ)和分析之間的問(wèn)題，降低運(yùn)維成本。通過(guò)存算分離，系統(tǒng)可以更好地管理存儲(chǔ)和計(jì)算資源，提高系統(tǒng)的靈活性和性能。湖倉(cāng)分析則可以有效整合和分析數(shù)據(jù)湖中的數(shù)據(jù)，為企業(yè)提供更深入的數(shù)據(jù)洞察和決策支持，同時(shí)降低運(yùn)維成本。

基于StarRocks構(gòu)建指標(biāo)平臺(tái)的建設(shè)方案分為4個(gè)環(huán)節(jié)：

1. 需求分析階段和指標(biāo)定義階段：

調(diào)研現(xiàn)有業(yè)務(wù)情況，明確指標(biāo)平臺(tái)的目標(biāo)和范圍。

2. 數(shù)據(jù)建模和數(shù)據(jù)準(zhǔn)備：

在StarRocks中利用不同的數(shù)據(jù)類型構(gòu)建相應(yīng)的數(shù)據(jù)表。通過(guò)物化視圖收集、清洗數(shù)據(jù)，建立數(shù)據(jù)倉(cāng)庫(kù)，為后續(xù)數(shù)據(jù)分析應(yīng)用提供更好的數(shù)據(jù)支持。

3. 權(quán)限管理和數(shù)據(jù)分析：

對(duì)敏感數(shù)據(jù)進(jìn)行權(quán)限管理，確保數(shù)據(jù)安全。進(jìn)行數(shù)據(jù)分析和可視化，為用戶提供直觀的數(shù)據(jù)展示和分析結(jié)果。

4. 業(yè)務(wù)場(chǎng)景實(shí)時(shí)監(jiān)控和持續(xù)優(yōu)化：

實(shí)時(shí)監(jiān)控業(yè)務(wù)場(chǎng)景，及時(shí)發(fā)現(xiàn)問(wèn)題并進(jìn)行處理。對(duì)指標(biāo)平臺(tái)進(jìn)行持續(xù)優(yōu)化，根據(jù)用戶反饋不斷迭代更新，完善平臺(tái)功能。

這個(gè)建設(shè)方案將有助于構(gòu)建一個(gè)基于StarRocks的高效指標(biāo)平臺(tái)，為企業(yè)提供強(qiáng)大的數(shù)據(jù)分析和決策支持。

在這個(gè)指標(biāo)平臺(tái)方案中，將StarRocks作為底層的存儲(chǔ)和計(jì)算引擎，構(gòu)建了數(shù)據(jù)處理層，包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)模型建立，利用指標(biāo)平臺(tái)的計(jì)算引擎進(jìn)行指標(biāo)開(kāi)發(fā)工作，并最終進(jìn)行指標(biāo)管理，為上層業(yè)務(wù)應(yīng)用層提供數(shù)據(jù)支持。該指標(biāo)平臺(tái)方案的優(yōu)勢(shì)包括：1.實(shí)時(shí)業(yè)務(wù)感知和快速反應(yīng)：能夠及時(shí)讓業(yè)務(wù)感知用戶行為，并快速做出反應(yīng)。2.數(shù)據(jù)準(zhǔn)確性和運(yùn)維效率：數(shù)據(jù)準(zhǔn)確度更高，架構(gòu)簡(jiǎn)潔，便于快速運(yùn)維，降低整個(gè)數(shù)據(jù)使用成本。3.數(shù)據(jù)治理和一體化能力：方便進(jìn)行數(shù)據(jù)治理，具有湖倉(cāng)一體化能力，以StarRocks作為底層存儲(chǔ)和計(jì)算引擎，確保數(shù)據(jù)源統(tǒng)一，數(shù)據(jù)架構(gòu)統(tǒng)一，為數(shù)據(jù)治理提供良好的數(shù)據(jù)環(huán)境。4.兼容性和低成本：StarRocks兼容MySQL語(yǔ)義，降低了使用門檻和業(yè)務(wù)遷移成本，快速實(shí)現(xiàn)數(shù)據(jù)底座搭建和指標(biāo)平臺(tái)建設(shè)。

03、某股份制商業(yè)銀行指標(biāo)平臺(tái)案例分享

鏡舟科技作為StarRocks的核心商業(yè)化團(tuán)隊(duì)，基于StarRocks打造企業(yè)級(jí)產(chǎn)品鏡舟湖倉(cāng)分析引擎，并在企業(yè)業(yè)務(wù)中落地實(shí)踐，取得成效。某股份制商業(yè)銀行自建的指標(biāo)平臺(tái)為業(yè)務(wù)部門提供了指標(biāo)管理和指標(biāo)應(yīng)用的能力，用戶可以在平臺(tái)上進(jìn)行指標(biāo)的錄入、發(fā)布、派生、分享、可視化應(yīng)用以及深度分析等操作。

通過(guò)指標(biāo)平臺(tái)的建設(shè)，該銀行收獲如下：降低數(shù)據(jù)開(kāi)發(fā)和使用成本：

在指標(biāo)平臺(tái)出現(xiàn)之前，指標(biāo)的管理、研發(fā)和應(yīng)用是分離的，這個(gè)平臺(tái)改變了數(shù)據(jù)研發(fā)人員的開(kāi)發(fā)模式以及業(yè)務(wù)用戶使用數(shù)據(jù)的模式，大大降低了數(shù)據(jù)開(kāi)發(fā)和使用的成本。提升數(shù)據(jù)應(yīng)用效率：平臺(tái)讓管理、研發(fā)和應(yīng)用整合在一起，讓原本分離的管研用轉(zhuǎn)向了管研用一體，提高了數(shù)據(jù)的應(yīng)用效率。

有架構(gòu)在應(yīng)對(duì)業(yè)務(wù)增長(zhǎng)和指標(biāo)復(fù)雜度上存在瓶頸，需要進(jìn)行底層架構(gòu)的升級(jí)以提升性能、降低成本以及提高運(yùn)維效率：1. Cube構(gòu)建速度慢，性能消耗大，導(dǎo)致一些指標(biāo)計(jì)算需要花費(fèi)長(zhǎng)達(dá)1小時(shí)的時(shí)間。2. 大量指標(biāo)無(wú)法命中，導(dǎo)致下壓到Presto的并發(fā)壓力大，而Presto的并發(fā)性能和大規(guī)模數(shù)據(jù)查詢性能較差。3. 查詢數(shù)據(jù)時(shí)需要進(jìn)行關(guān)聯(lián)操作，但Kylin的多維join支持不佳，性能不足，且需要額外的開(kāi)發(fā)成本。4. 運(yùn)維成本高，維護(hù)多種組件的難度較大。

鏡舟科技針對(duì)該銀行的需求痛點(diǎn)，設(shè)計(jì)了指標(biāo)平臺(tái)的升級(jí)建設(shè)方案：

在指標(biāo)平臺(tái)的應(yīng)用場(chǎng)景中，可以針對(duì)指標(biāo)進(jìn)行分層。在物理層，數(shù)據(jù)工程師可以基于業(yè)務(wù)和數(shù)據(jù)建模的理解，對(duì)事實(shí)表、維度表以及對(duì)象構(gòu)建整個(gè)物理層的ER關(guān)系，定義表之間的關(guān)系，為上層業(yè)務(wù)提供數(shù)據(jù)的基礎(chǔ)模型支持。在邏輯層面，指標(biāo)平臺(tái)可以基于數(shù)據(jù)工程師定義的模型，將整個(gè)對(duì)象拉成一張寬表。例如，將客戶對(duì)象生成一張全行超寬表，簡(jiǎn)化業(yè)務(wù)分析工作，對(duì)對(duì)象的維度目錄和指標(biāo)目錄進(jìn)行了簡(jiǎn)化。業(yè)務(wù)人員無(wú)需理解底層復(fù)雜的ER關(guān)系，只需通過(guò)拖拽操作進(jìn)行維度和指標(biāo)的關(guān)聯(lián)。這樣，在邏輯層面上，指標(biāo)平臺(tái)為用戶提供了極大的便利性，他們無(wú)需關(guān)注底層技術(shù)原理，只需關(guān)心業(yè)務(wù)邏輯。在應(yīng)用層面，根據(jù)用戶定義的場(chǎng)景和查詢行為，構(gòu)建指標(biāo)物化的DWS層，以加速用戶查詢性能。未來(lái)可以根據(jù)用戶的查詢行為優(yōu)化整個(gè)DWS的物化邏輯。DataAPI可以提供毫秒級(jí)查詢，報(bào)表可以提供秒級(jí)查詢，自助分析可以提供幾十秒級(jí)的查詢。這樣的設(shè)計(jì)使得用戶可以根據(jù)不同需求選擇不同的查詢方式，從而提高查詢效率和用戶體驗(yàn)。

在舊架構(gòu)的升級(jí)過(guò)程中，該銀行通過(guò)鏡舟湖倉(cāng)分析引擎替換了之前Kylin和Presto構(gòu)建底層架構(gòu)，新的架構(gòu)變得更加簡(jiǎn)潔、高效率。

在設(shè)計(jì)過(guò)程中，該銀行希望實(shí)現(xiàn)指標(biāo)一處定義多處使用的目標(biāo)。數(shù)據(jù)指標(biāo)的一次定義包括指標(biāo)口徑和指標(biāo)應(yīng)用，用戶可以基于指標(biāo)場(chǎng)景或應(yīng)用場(chǎng)景來(lái)使用指標(biāo)平臺(tái)，通過(guò)物化調(diào)度實(shí)現(xiàn)指標(biāo)平臺(tái)應(yīng)用服務(wù)的 SLA 指標(biāo)需求。整個(gè)設(shè)計(jì)分為三個(gè)場(chǎng)景：

第一個(gè)場(chǎng)景是業(yè)務(wù)方希望通過(guò)自助分析的結(jié)果制作更多高層關(guān)注的看板和卡片。通過(guò)自助分析的查詢進(jìn)行物化，將物化結(jié)果放入鏡舟湖倉(cāng)分析引擎的native表中。

第二個(gè)場(chǎng)景是當(dāng)內(nèi)部數(shù)據(jù)量增大時(shí)，聚合查詢無(wú)法滿足需求。此時(shí)可以通過(guò)鏡舟湖倉(cāng)分析引擎的物化視圖進(jìn)行進(jìn)一步加速。

第三個(gè)場(chǎng)景針對(duì)高并發(fā)情況，可以將物化視圖和內(nèi)表查詢結(jié)果緩存到更高并發(fā)的存儲(chǔ)和緩存中，以應(yīng)對(duì)高并發(fā)請(qǐng)求。

通過(guò)鏡舟湖倉(cāng)分析引擎的物化邏輯進(jìn)行高效查詢，智能調(diào)度提升整個(gè)大數(shù)據(jù)平臺(tái)SQL查詢性能，降低資源使用成本。該銀行的收益可以分為以下幾點(diǎn)：

提供更多場(chǎng)景的指標(biāo)支持，例如，AB測(cè)試平臺(tái)中需要的指標(biāo)可以實(shí)時(shí)生成，提高實(shí)驗(yàn)效果。實(shí)現(xiàn)流批一體化，降低研發(fā)成本和資源使用成本。為其他業(yè)務(wù)提供賦能，例如，通過(guò)Bitmap能力實(shí)現(xiàn)秒級(jí)UA和PV計(jì)算，在用戶行為分析中實(shí)現(xiàn)客群圈選并進(jìn)一步關(guān)聯(lián)數(shù)據(jù)，為精準(zhǔn)投放帶來(lái)更大價(jià)值，提升決策靈活性。

在上述的方案中，主要是用了哪幾個(gè)核心的功能？

第一個(gè)是物化視圖的能力：1. 定義原子指標(biāo)并通過(guò)full join拼接，形成寬表。2. 可通過(guò)物化視圖對(duì)常用的A B指標(biāo)進(jìn)行裁剪，自定義刷新策略。3. 在合并原子指標(biāo)時(shí)，鏡舟產(chǎn)品的性能相對(duì)于Kylin有較大提升。

第二個(gè)是湖倉(cāng)分析的能力：1. 可快速實(shí)現(xiàn)跨引擎數(shù)據(jù)聯(lián)邦分析，避免大量開(kāi)發(fā)成本。2. 統(tǒng)一技術(shù)架構(gòu)和數(shù)據(jù)源，統(tǒng)一業(yè)務(wù)方數(shù)據(jù)使用方式和數(shù)據(jù)口徑。3. 降低運(yùn)維成本、開(kāi)發(fā)成本，避免遷移成本。