2015年誕生,2019年爆火,在最火的時(shí)候被很多人當(dāng)成了“無所不能”的“萬能藥”,只要是IT的問題,就一個(gè)藥方——上“中臺(tái)”!于是乎,很多企業(yè)都爭(zhēng)先恐后,紛紛走上了上中臺(tái)的路。
但似乎“好景”不長(zhǎng),2019年末“中臺(tái)”的大潮還未退卻,就已經(jīng)傳出了對(duì)中臺(tái)的質(zhì)疑聲——“中臺(tái),我信了你的邪!”。
到了2020年對(duì)中臺(tái)的質(zhì)疑、唱衰、乃至討伐的聲音更是此起彼伏,中臺(tái)似乎徹底跌下了“神壇”。
而作為眾多“中臺(tái)”核心成員之一的“數(shù)據(jù)中臺(tái)”,似乎成了“中臺(tái)”家族的最頑強(qiáng)的那個(gè),在經(jīng)歷過“追捧”和“質(zhì)疑”等種種考驗(yàn)后,數(shù)據(jù)中臺(tái)正在用事實(shí)驗(yàn)證其價(jià)值!
01 關(guān)于數(shù)據(jù)中臺(tái)
數(shù)據(jù)中臺(tái)可以看作是數(shù)據(jù)的“公共服務(wù)平臺(tái)”,即通過數(shù)據(jù)技術(shù),對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑,形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ),形成大數(shù)據(jù)資產(chǎn)層,進(jìn)而為客戶提供高效服務(wù)。
在筆者看來,數(shù)據(jù)中臺(tái)最重要的不是中臺(tái)而是數(shù)據(jù),但“純粹”的源數(shù)據(jù)嚴(yán)格來說還也不是數(shù)據(jù)中臺(tái)的一部分,需要將其加工、處理、標(biāo)準(zhǔn)化形成數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品,而這一過程中,離不開元數(shù)據(jù)的支撐。元數(shù)據(jù)——是數(shù)據(jù)中臺(tái)的靈魂。
02 關(guān)于元數(shù)據(jù)
元數(shù)據(jù)(Metadata),元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息,簡(jiǎn)言之,元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)。元數(shù)據(jù)與數(shù)據(jù)的不同之處在于元數(shù)據(jù)描述的不是特定的實(shí)例或記錄,IT和業(yè)務(wù)都需要高質(zhì)量的元數(shù)據(jù)來理解現(xiàn)有數(shù)據(jù)。元數(shù)據(jù)是一種數(shù)據(jù)類型,以數(shù)字方式描述企業(yè)的數(shù)據(jù),流程,應(yīng)用程序,資產(chǎn),業(yè)務(wù)概念和或其他感興趣的事物的人員,時(shí)間,地點(diǎn),原因以及方式,元數(shù)據(jù)為企業(yè)數(shù)字資產(chǎn)的內(nèi)容提供了上下文。更簡(jiǎn)單的說,元數(shù)據(jù)是對(duì)數(shù)據(jù)的結(jié)構(gòu)化描述,使得數(shù)據(jù)更容易理解、查找、管理和使用。我們也可以用5W1H模型來理解元數(shù)據(jù):
表1:元數(shù)據(jù)定義
|
知識(shí)類型
|
定義
|
技術(shù)示例
|
業(yè)務(wù)示例
|
|
Who
|
誰
|
誰負(fù)責(zé)數(shù)據(jù)的接口的開發(fā)?
|
誰是財(cái)務(wù)業(yè)務(wù)域的負(fù)責(zé)人?
|
|
What
|
干什么或是什么
|
CRM和DW之間的數(shù)據(jù)血緣關(guān)系是什么?
|
企業(yè)市場(chǎng)管理業(yè)務(wù)域的指標(biāo)體系都包含哪些指標(biāo)?
|
|
When
|
什么時(shí)候
|
提取,轉(zhuǎn)換和加載(ETL)作業(yè)什么時(shí)候運(yùn)行?
|
我正在分析的數(shù)據(jù)上次刷新是什么時(shí)候?
|
|
Where
|
在哪里
|
在我們的IT環(huán)境中,服務(wù)器的運(yùn)行容量不足40%?
|
我們?cè)谀睦锟梢哉业桨礌I銷活動(dòng)顯示我們的社交媒體分析的報(bào)告?
|
|
How
|
怎么樣,怎么做
|
如何設(shè)置數(shù)據(jù)質(zhì)量的管理規(guī)則
|
如何獲得產(chǎn)品的競(jìng)爭(zhēng)優(yōu)勢(shì)?
|
|
Why
|
為什么
|
數(shù)據(jù)質(zhì)量問題的根本原因是什么?
|
為什么老客戶會(huì)不斷的流失?
|
03 元數(shù)據(jù)分類
根據(jù)數(shù)據(jù)的性質(zhì)特點(diǎn),業(yè)內(nèi)一般將元數(shù)據(jù)劃分為三類:業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和操作元數(shù)據(jù)。
業(yè)務(wù)元數(shù)據(jù)是描述數(shù)據(jù)的業(yè)務(wù)含義、業(yè)務(wù)規(guī)則等。通過明確業(yè)務(wù)元數(shù)據(jù)讓人們更容易理解和使用業(yè)務(wù)元數(shù)據(jù),元數(shù)據(jù)消除了數(shù)據(jù)二義性,讓人們對(duì)數(shù)據(jù)有一致的認(rèn)證,避免“各說自話”,進(jìn)而為數(shù)據(jù)分析和應(yīng)用提供支撐。常見的業(yè)務(wù)元數(shù)據(jù)包括:業(yè)務(wù)定義、業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、業(yè)務(wù)指標(biāo)等。
技術(shù)元數(shù)據(jù)是對(duì)數(shù)據(jù)的結(jié)構(gòu)化,方便計(jì)算機(jī)或數(shù)據(jù)庫之間對(duì)數(shù)據(jù)進(jìn)行識(shí)別、存儲(chǔ)、傳輸和交換。技術(shù)元數(shù)據(jù)可以服務(wù)于開發(fā)人員,讓開發(fā)人員對(duì)數(shù)據(jù)的存儲(chǔ)、結(jié)構(gòu)更明確,從而為應(yīng)用的開發(fā)和系統(tǒng)的集成奠定基礎(chǔ)。技術(shù)元數(shù)據(jù)也可服務(wù)于業(yè)務(wù)人員,通過元數(shù)據(jù)理清數(shù)據(jù)關(guān)系,讓業(yè)務(wù)人員能夠更快速的找到想要的數(shù)據(jù),進(jìn)而對(duì)數(shù)據(jù)的來源去向進(jìn)行分析,支持?jǐn)?shù)據(jù)血緣追溯和影響分析。常見的技術(shù)元數(shù)據(jù)包括:存儲(chǔ)位置、數(shù)據(jù)模型、數(shù)據(jù)庫表、字段長(zhǎng)度、字段類型、ETL腳本、SQL腳本、接口程序、數(shù)據(jù)關(guān)系等。
操作元數(shù)據(jù)描述了數(shù)據(jù)的操作屬性,包括管理部門、管理責(zé)任人等,通過明確管理屬性,有利于數(shù)據(jù)管理責(zé)任到部門和個(gè)人,是數(shù)據(jù)安全管理的基礎(chǔ)。常見的操作元數(shù)據(jù)包括:數(shù)據(jù)所有者、數(shù)據(jù)質(zhì)量定責(zé)、數(shù)據(jù)安全等級(jí)、數(shù)據(jù)訪問權(quán)限,數(shù)據(jù)處理作業(yè)的結(jié)果等。
表2:元數(shù)據(jù)分類實(shí)例
|
元數(shù)據(jù)類型
|
元數(shù)據(jù)
|
元數(shù)據(jù)描述
|
元數(shù)據(jù)實(shí)例
|
|
業(yè)務(wù)元數(shù)據(jù)
|
業(yè)務(wù)定義
|
數(shù)據(jù)的含義
|
客戶的完整名稱,并具有法律效力
|
|
|
業(yè)務(wù)規(guī)則
|
數(shù)據(jù)錄入規(guī)則
|
企業(yè)的營業(yè)執(zhí)照、組織機(jī)構(gòu)代碼證書,統(tǒng)一社會(huì)信用代碼證書等具有法律效力的證明文件中的中文名稱全稱
|
|
|
識(shí)別規(guī)則
|
識(shí)別規(guī)則
|
企業(yè)的組織機(jī)構(gòu)代碼或者統(tǒng)一社會(huì)信用代碼或者統(tǒng)一納稅號(hào)必須完全匹配,則認(rèn)為是同一客戶。
|
|
|
質(zhì)量規(guī)則
|
質(zhì)量規(guī)則
|
客戶名稱為非空,并且與營業(yè)執(zhí)照的中文名稱一致
|
|
技術(shù)元數(shù)據(jù)
|
存儲(chǔ)位置
|
數(shù)據(jù)的存儲(chǔ)什么地方
|
ERP系統(tǒng)
|
|
技術(shù)元數(shù)據(jù)
|
數(shù)據(jù)庫表
|
存儲(chǔ)數(shù)據(jù)的庫表名稱和路徑
|
ERP/Customers
|
|
技術(shù)元數(shù)據(jù)
|
字段類型
|
數(shù)據(jù)的技術(shù)類型
|
字符型
|
|
技術(shù)元數(shù)據(jù)
|
字段長(zhǎng)度
|
數(shù)據(jù)存儲(chǔ)的最大長(zhǎng)度
|
[200]
|
|
操作元數(shù)據(jù)
|
更新頻率
|
數(shù)據(jù)的更新頻率
|
每年更新一次
|
|
操作元數(shù)據(jù)
|
管理部門
|
數(shù)據(jù)責(zé)任部門
|
客戶管理部
|
|
操作元數(shù)據(jù)
|
管理責(zé)任人
|
數(shù)據(jù)責(zé)任部門
|
客戶管理部業(yè)務(wù)員
|
以上我們回顧了數(shù)據(jù)中臺(tái)和元數(shù)據(jù)的相關(guān)概念,接下來我們重點(diǎn)介紹下這份標(biāo)準(zhǔn)。
《數(shù)據(jù)中臺(tái) 元數(shù)據(jù)規(guī)范》是由浙江省標(biāo)準(zhǔn)化研究院支撐、杭州玳數(shù)科技有限公司牽頭起草的全國首個(gè) 《數(shù)據(jù)中臺(tái) 元數(shù)據(jù)規(guī)范》團(tuán)體標(biāo)準(zhǔn)正式批準(zhǔn)發(fā)布,該標(biāo)準(zhǔn)作為我國數(shù)據(jù)中臺(tái)領(lǐng)域第一個(gè)團(tuán)體標(biāo)準(zhǔn),填補(bǔ)了國內(nèi)數(shù)據(jù)中臺(tái)元數(shù)據(jù)的標(biāo)準(zhǔn)空白。
該標(biāo)準(zhǔn)通過了來自浙江大學(xué)、浙江省數(shù)字化與設(shè)計(jì)制造創(chuàng)新中心、阿里云等行業(yè)內(nèi)專家評(píng)審,為推動(dòng)數(shù)字行業(yè)標(biāo)準(zhǔn)化提供了樣板,填補(bǔ)了我國數(shù)據(jù)中臺(tái)元數(shù)據(jù)標(biāo)準(zhǔn)空白,也為困擾行業(yè)多年的“數(shù)據(jù)孤島”問題找到了解決之道。該標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)中臺(tái)元數(shù)據(jù)的元模型、描述方法、擴(kuò)展要求、校驗(yàn)等,適用于數(shù)據(jù)中臺(tái)的數(shù)據(jù)集編目、建庫以及數(shù)據(jù)交換、數(shù)據(jù)集成等。本標(biāo)準(zhǔn)的發(fā)布和實(shí)施,將為有關(guān)企業(yè)、部門建設(shè)數(shù)據(jù)中臺(tái)提供支撐,實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通、資源協(xié)調(diào),打破“數(shù)據(jù)孤島”,充分發(fā)揮各類數(shù)據(jù)價(jià)值,助力浙江數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。


(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)