當(dāng)下，刮起了一場(chǎng)數(shù)據(jù)中臺(tái)風(fēng)，立馬席卷了大數(shù)據(jù)行業(yè)的各個(gè)角落。人人都在談什么是數(shù)據(jù)中臺(tái)，我們需不需要建數(shù)據(jù)中臺(tái)，數(shù)據(jù)中臺(tái)要怎么建？今天，小億結(jié)合億信華辰的實(shí)踐經(jīng)驗(yàn)，用一張架構(gòu)圖來回答這些問題，并讓大家看透數(shù)據(jù)中臺(tái)架構(gòu)中每一個(gè)部分的功能以及作用。
談?wù)摂?shù)據(jù)中臺(tái)時(shí)，他們?cè)谡勈裁?/strong>
“中臺(tái)”早期是由美軍的作戰(zhàn)體系演化而來的，使用“中臺(tái)”這種作戰(zhàn)體系，目的就在于給予前方高效、靈活和強(qiáng)大炮火支持。2015年，阿里巴巴率先提出了“中臺(tái)戰(zhàn)略”，以及其有名的“大中臺(tái)、小前臺(tái)”的機(jī)制。2018年8月，阿里發(fā)布“雙中臺(tái)+ET”數(shù)字化轉(zhuǎn)型方法論，阿里的雙中臺(tái)包括了數(shù)據(jù)中臺(tái)和業(yè)務(wù)中臺(tái)。
在阿里中臺(tái)概念的引領(lǐng)下，很多企業(yè)也提出了自己的“中臺(tái)戰(zhàn)略”。如把內(nèi)部一些通用性技術(shù)平臺(tái)、支撐系統(tǒng)打包在一起，稱之為技術(shù)中臺(tái)；把一些大的業(yè)務(wù)服務(wù)系統(tǒng)，邏輯上集中起來稱之為業(yè)務(wù)中臺(tái)；或干脆把現(xiàn)有的數(shù)據(jù)倉(cāng)庫、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)運(yùn)維平臺(tái)整合稱之為數(shù)據(jù)中臺(tái)；還有一種更簡(jiǎn)單的方式，就是把以前內(nèi)部IT支撐系統(tǒng)的后臺(tái)直接改名，與數(shù)據(jù)相關(guān)的部分就叫數(shù)據(jù)中臺(tái)，與業(yè)務(wù)耦合度較緊密的就叫業(yè)務(wù)中臺(tái)。
當(dāng)下，人人都在談?wù)摂?shù)字化轉(zhuǎn)型，但怎么轉(zhuǎn)，做什么，中臺(tái)有可能成為企業(yè)推進(jìn)數(shù)字化轉(zhuǎn)型的有效方法之一。
理想的數(shù)據(jù)中臺(tái)架構(gòu)，是什么樣的
我們先來看下網(wǎng)易嚴(yán)選的數(shù)據(jù)體系（上圖），就更清楚數(shù)據(jù)中臺(tái)的定位了。
數(shù)據(jù)中臺(tái)的下層是數(shù)據(jù)平臺(tái)，數(shù)據(jù)平臺(tái)主要解決跟業(yè)務(wù)無關(guān)的問題，主要是大數(shù)據(jù)的存儲(chǔ)和計(jì)算問題。
數(shù)據(jù)中臺(tái)的上層就是數(shù)據(jù)前臺(tái)，主要包括 BI 報(bào)表、數(shù)據(jù)產(chǎn)品和業(yè)務(wù)系統(tǒng)。
數(shù)據(jù)中臺(tái)首先賦能分析師通過 BI 報(bào)表的形式來驅(qū)動(dòng)業(yè)務(wù)精細(xì)化運(yùn)營(yíng)。
可以看到，數(shù)據(jù)中臺(tái)的主要作用在于將企業(yè)內(nèi)部所有數(shù)據(jù)統(tǒng)一處理形成標(biāo)準(zhǔn)化數(shù)據(jù)，挖掘出對(duì)企業(yè)最有價(jià)值的數(shù)據(jù)，構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫，對(duì)內(nèi)對(duì)外提供一致的、高可用大數(shù)據(jù)服務(wù)。下面重點(diǎn)來看看億信華辰根據(jù)多年大數(shù)據(jù)經(jīng)驗(yàn)的累積及數(shù)據(jù)中臺(tái)的項(xiàng)目實(shí)踐總結(jié)出來的數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)，主要分為以下5個(gè)部分：
數(shù)據(jù)匯聚
數(shù)據(jù)中臺(tái)不產(chǎn)生數(shù)據(jù)，數(shù)據(jù)其實(shí)來源于各個(gè)業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)環(huán)境等，是日常操作所產(chǎn)生的數(shù)據(jù)，多數(shù)存儲(chǔ)在網(wǎng)絡(luò)環(huán)境和存儲(chǔ)平臺(tái)中，且各個(gè)系統(tǒng)之間獨(dú)立存在，很難直接使用，需要去進(jìn)行數(shù)據(jù)抽取、采集、整合和處理，將異構(gòu)數(shù)據(jù)采集到統(tǒng)一的平臺(tái)進(jìn)行存儲(chǔ)，進(jìn)而通過建模將數(shù)據(jù)進(jìn)行加工處理，變?yōu)閷?duì)業(yè)務(wù)有用的數(shù)據(jù)，只有這樣才能有效匯聚數(shù)據(jù)，形成數(shù)據(jù)中臺(tái)的統(tǒng)一數(shù)據(jù)資源。
數(shù)據(jù)存儲(chǔ)計(jì)算
將采集補(bǔ)錄、抽取整合的業(yè)務(wù)數(shù)據(jù)匯聚后，以數(shù)據(jù)形態(tài)存儲(chǔ)，當(dāng)下大數(shù)據(jù)發(fā)展的節(jié)奏讓數(shù)據(jù)庫技術(shù)也由傳統(tǒng)關(guān)系型數(shù)倉(cāng)架構(gòu)，向Hadoop分布式架構(gòu)演變，并隨著業(yè)務(wù)實(shí)時(shí)性決策需要，推動(dòng)融合MPP、SQL on Hadoop、流處理等大數(shù)據(jù)技術(shù)服務(wù)的實(shí)時(shí)流式計(jì)算存儲(chǔ)應(yīng)用，實(shí)現(xiàn)海量數(shù)據(jù)高效統(tǒng)一管理，為企業(yè)提供實(shí)時(shí)數(shù)據(jù)支撐。
數(shù)據(jù)治理
數(shù)據(jù)平臺(tái)建好后，業(yè)務(wù)數(shù)據(jù)可能雜亂無章，數(shù)據(jù)質(zhì)量低，需要經(jīng)過一系列的治理提高數(shù)據(jù)質(zhì)量，將數(shù)據(jù)統(tǒng)一起來進(jìn)行管控，這個(gè)過程中就包括數(shù)據(jù)模型管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、生命周期管理、數(shù)據(jù)安全管理。
數(shù)據(jù)模型管理是根據(jù)業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行分層、整合處理，方便數(shù)據(jù)的分析應(yīng)用；元數(shù)據(jù)管理方便技術(shù)人員進(jìn)行分析數(shù)據(jù)來龍去脈以及對(duì)數(shù)據(jù)庫底層數(shù)據(jù)質(zhì)量進(jìn)行把控；數(shù)據(jù)標(biāo)準(zhǔn)用來指定一系列標(biāo)準(zhǔn)，對(duì)元數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)的檢查；數(shù)據(jù)質(zhì)量是根據(jù)一系列規(guī)則，對(duì)庫表數(shù)據(jù)進(jìn)行校驗(yàn)和整改；數(shù)據(jù)生命周期和安全貫穿整個(gè)流程，為數(shù)據(jù)保駕護(hù)航。
數(shù)據(jù)資產(chǎn)管理
經(jīng)過數(shù)據(jù)匯聚、數(shù)據(jù)治理，已經(jīng)形成的數(shù)據(jù)資源需要有統(tǒng)一的地方去進(jìn)行管理，方便業(yè)務(wù)人員理解數(shù)據(jù)，這時(shí)就需要建立數(shù)據(jù)資產(chǎn)管理體系，需要先根據(jù)業(yè)務(wù)先形成資產(chǎn)目錄，數(shù)據(jù)擁有者將自己的數(shù)據(jù)資產(chǎn)掛到對(duì)應(yīng)的類目樹，梳理成一套完整的資產(chǎn)目錄，將數(shù)據(jù)資產(chǎn)開放出去，展示給業(yè)務(wù)人員或外部人員，提供企業(yè)的數(shù)據(jù)意識(shí)。
數(shù)據(jù)服務(wù)
經(jīng)過前期一系列梳理工作，數(shù)據(jù)還沒有真正發(fā)揮它的價(jià)值，而數(shù)據(jù)服務(wù)則是將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化成一種服務(wù)能力，那么如果我們需要調(diào)用某個(gè)數(shù)據(jù)資產(chǎn)要怎么操作使用？數(shù)據(jù)提供方又如何將數(shù)據(jù)資產(chǎn)提供給別人使用？這就是我們說的數(shù)據(jù)服務(wù)功能，幫助用戶實(shí)現(xiàn)數(shù)據(jù)規(guī)劃咨詢，數(shù)據(jù)資產(chǎn)服務(wù)開放及數(shù)據(jù)可視化展示應(yīng)用等。
經(jīng)驗(yàn)總結(jié)
每個(gè)企業(yè)都?jí)粝胍粋€(gè)非常強(qiáng)大的數(shù)據(jù)中臺(tái)，對(duì)企業(yè)內(nèi)部提升運(yùn)營(yíng)效率、決策效率，對(duì)外支撐各種場(chǎng)景應(yīng)用。希望實(shí)現(xiàn)如下功能：
在實(shí)施上，把數(shù)據(jù)來龍去脈梳理特別清楚，輕松解決數(shù)據(jù)加工、存儲(chǔ)、分析、建模等與數(shù)據(jù)有有關(guān)的所有事情；
在管理上，想有一個(gè)可以管理一切的入口，把一切的數(shù)據(jù)、口徑、項(xiàng)目、工程等都管理起來；
面對(duì)客戶，想讓客戶可以一站式在這個(gè)平臺(tái)上獲取到任何想要的東西，并可以獲取到足夠的數(shù)據(jù)應(yīng)用能力。
為了這個(gè)愿望，大部分的數(shù)據(jù)人朝著這個(gè)終極目標(biāo)去努力。億信華辰作為專業(yè)的智能數(shù)據(jù)產(chǎn)品與服務(wù)提供商，基于成熟的采集、存儲(chǔ)、計(jì)算、治理等大數(shù)據(jù)技術(shù)，推出了符合企業(yè)數(shù)字化轉(zhuǎn)型的數(shù)據(jù)中臺(tái)解決方案。數(shù)據(jù)匯聚我們有數(shù)據(jù)工廠工具，數(shù)據(jù)治理有我們一整套睿治數(shù)據(jù)治理工具，數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)服務(wù)有數(shù)據(jù)資產(chǎn)管理工具，數(shù)據(jù)中臺(tái)需要這一系列的工具去進(jìn)行輔助實(shí)現(xiàn)，幫助企業(yè)建設(shè)自己的數(shù)據(jù)中臺(tái)。
在億信華辰實(shí)施眾多項(xiàng)目過程中，我們認(rèn)為數(shù)據(jù)中臺(tái)是一個(gè)運(yùn)營(yíng)迭代的過程，通過業(yè)務(wù)閉環(huán)不斷完善，使業(yè)務(wù)的場(chǎng)景化應(yīng)用效果越來越好，最終達(dá)到數(shù)據(jù)業(yè)務(wù)價(jià)值的最大化。
數(shù)據(jù)中臺(tái)的幕布已經(jīng)揭開，如對(duì)億信華辰數(shù)據(jù)中臺(tái)解決方案感興趣，歡迎留言探討哦。
（部分內(nèi)容來源網(wǎng)絡(luò)，如有侵權(quán)請(qǐng)聯(lián)系刪除）
