一、數(shù)據(jù)治理概念定義
目前業(yè)內(nèi)數(shù)據(jù)治理總結(jié)起來(lái)一共分為兩類(lèi),一類(lèi)是狹義的數(shù)據(jù)治理,是指數(shù)據(jù)指標(biāo)口徑一致性的治理,此類(lèi)數(shù)據(jù)治理主要是解決指標(biāo)口徑的一致性,解決數(shù)據(jù)“不準(zhǔn)”的問(wèn)題,也由此引申出一些智能數(shù)倉(cāng)、指標(biāo)元數(shù)據(jù)工具,比如美團(tuán)的起源、快手的蓋亞、阿里的dataphin等等;另一類(lèi)是指廣義的數(shù)據(jù)治理,是指包括數(shù)據(jù)指標(biāo)口徑治理、數(shù)據(jù)安全治理、數(shù)據(jù)資源成本治理、數(shù)據(jù)資產(chǎn)元數(shù)據(jù)治理、數(shù)據(jù)產(chǎn)出治理等在內(nèi)的大治理,此類(lèi)數(shù)據(jù)治理是需要綜合解決數(shù)據(jù)從采集加工到應(yīng)用分析再到銷(xiāo)毀全生命周期內(nèi)的口徑、成本、安全、合規(guī)和產(chǎn)出問(wèn)題,在工具建設(shè)上,目前筆者看到的多是分散在數(shù)據(jù)安全、資產(chǎn)中心、SLA中心等不同的產(chǎn)品領(lǐng)域。
二、數(shù)據(jù)治理的目標(biāo)
數(shù)據(jù)治理的目標(biāo)是提高數(shù)據(jù)的質(zhì)量(準(zhǔn)確性、及時(shí)性、完整性、唯一性、一致性,有效性),確保數(shù)據(jù)的安全性(保密性、完整性及可用性),實(shí)現(xiàn)數(shù)據(jù)資源在各組織機(jī)構(gòu)部門(mén)的共享,推進(jìn)數(shù)據(jù)資源的整合、服務(wù)和共享,從而提升企事業(yè)單位信息化水平,充分發(fā)揮數(shù)據(jù)資產(chǎn)作用。
三、數(shù)據(jù)治理的范圍
數(shù)據(jù)治理項(xiàng)目的范圍通常都會(huì)包含:組織建設(shè)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、數(shù)據(jù)價(jià)值等幾個(gè)模塊。
1、數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量的提升通常包含以下幾個(gè)方面:1)數(shù)據(jù)質(zhì)量評(píng)估,2)數(shù)據(jù)質(zhì)量檢查,3)數(shù)據(jù)質(zhì)量監(jiān)控,4)問(wèn)題處理機(jī)制,5)根據(jù)血緣關(guān)系和業(yè)務(wù)場(chǎng)景鎖定高價(jià)值數(shù)據(jù),進(jìn)行高安全級(jí)別管控,避免數(shù)據(jù)出錯(cuò)。
2、元數(shù)據(jù)管理
元數(shù)據(jù)從數(shù)據(jù)的角度可以分為三類(lèi):業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。
業(yè)務(wù)元數(shù)據(jù)是從業(yè)務(wù)的視角去描述數(shù)據(jù):表名稱(chēng)、表的血緣關(guān)系、表的字段說(shuō)明、指標(biāo)的統(tǒng)計(jì)口徑等多種業(yè)務(wù)描述;
技術(shù)元數(shù)據(jù)從技術(shù)的角度去描述數(shù)據(jù):表的sql、字段長(zhǎng)度、字段類(lèi)型、有效值、默認(rèn)值等多種技術(shù)描述;
管理元數(shù)據(jù)是包含數(shù)據(jù)管理的信息在里面,例如:表的業(yè)務(wù)屬主、表的技術(shù)負(fù)責(zé)人、表的讀權(quán)限等。
3、組織建設(shè)
數(shù)據(jù)治理的大部分問(wèn)題更多是政策、業(yè)務(wù)上的問(wèn)題,保障數(shù)據(jù)治理能夠長(zhǎng)期有效的重要手段必須建立數(shù)據(jù)治理委員會(huì),跨部門(mén)跨組織,把技術(shù)、業(yè)務(wù)等相關(guān)人員組織起來(lái),制定政策、規(guī)范、評(píng)審需求、裁決分歧等。
4、數(shù)據(jù)價(jià)值
數(shù)據(jù)治理的目的就是提升數(shù)據(jù)價(jià)值,為企業(yè)帶來(lái)實(shí)質(zhì)性的效益。
5、數(shù)據(jù)安全
數(shù)據(jù)安全管理貫穿于數(shù)據(jù)治理全過(guò)程,提供對(duì)隱私數(shù)據(jù)的加密、脫敏、模糊化處理、數(shù)據(jù)庫(kù)授權(quán)監(jiān)控等多種數(shù)據(jù)安全管理措施,全方位保障數(shù)據(jù)的安全運(yùn)作。
四、數(shù)據(jù)平臺(tái)建設(shè)原則
1、初期能夠快速見(jiàn)效并體現(xiàn)建設(shè)價(jià)值,不盲目投入
實(shí)施周期不易過(guò)長(zhǎng),規(guī)模不易過(guò)大,能夠快速的見(jiàn)到教據(jù)總線(xiàn)帶來(lái)的效果和價(jià)值。
2、應(yīng)用(需求)驅(qū)動(dòng)主導(dǎo)數(shù)據(jù)平臺(tái)的實(shí)現(xiàn),加強(qiáng)業(yè)務(wù)的關(guān)注和參與
應(yīng)用是展現(xiàn)數(shù)據(jù)總線(xiàn)建設(shè)效果的門(mén)戶(hù),因此需要建設(shè)業(yè)務(wù)人員最緊迫和最關(guān)注的需求和應(yīng)用,讓業(yè)務(wù)部門(mén)最快參與數(shù)據(jù)總線(xiàn)的建設(shè)當(dāng)中。
3、重視內(nèi)部人員培養(yǎng),建設(shè)配套運(yùn)營(yíng)制度和管理體系
前期讓公司內(nèi)IT人員盡量更多、更深入的參與到數(shù)據(jù)總線(xiàn)的建設(shè)中,后期角色以管理為主,盡量與合作伙伴共同建設(shè)二期以上。配套的管理規(guī)范、技術(shù)規(guī)范、運(yùn)營(yíng)體系。
4、借鑒同業(yè)的成功經(jīng)驗(yàn)和成果,選擇成熟技術(shù)架構(gòu)和解決方案
盡量參考同行業(yè)、同規(guī)模、同類(lèi)型企業(yè)行的建設(shè)經(jīng)驗(yàn),適當(dāng)創(chuàng)新。
五、如何做好數(shù)據(jù)治理平臺(tái)
1、制定數(shù)據(jù)標(biāo)準(zhǔn),優(yōu)化流程
對(duì)企業(yè)來(lái)說(shuō),數(shù)據(jù)有很多來(lái)源。金融、人力、供應(yīng)鏈、生產(chǎn)、銷(xiāo)售等內(nèi)部數(shù)據(jù);政策、經(jīng)濟(jì)、社會(huì)、科技、產(chǎn)業(yè)、市場(chǎng)、競(jìng)爭(zhēng)者等外部數(shù)據(jù)。盡管數(shù)據(jù)來(lái)源廣泛,數(shù)據(jù)量大是其優(yōu)勢(shì),但如果不加以整理,混亂的數(shù)據(jù)不但不利于分析應(yīng)用,而且會(huì)造成不必要的財(cái)產(chǎn)損失。所以企業(yè)應(yīng)建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)管理流程和系統(tǒng),以規(guī)范數(shù)據(jù)生產(chǎn)與供應(yīng)過(guò)程。
2、搭建平臺(tái)
對(duì)于數(shù)據(jù)治理平臺(tái)的搭建,企業(yè)需要考慮用戶(hù)的不同需求,從而建立不同的模塊。數(shù)據(jù)治理平臺(tái)的內(nèi)容主要包括數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)安全管理、數(shù)據(jù)模型工具、元數(shù)據(jù)管理、主數(shù)據(jù)管理等功能模塊。我們所說(shuō)的數(shù)據(jù)治理項(xiàng)目不是為治理數(shù)據(jù)而構(gòu)建,而是與大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析挖掘等項(xiàng)目相結(jié)合,通過(guò)提高數(shù)據(jù)質(zhì)量、控制數(shù)據(jù)安全性,使數(shù)據(jù)發(fā)揮最大效益。
3、優(yōu)化模型,確保數(shù)據(jù)安全
數(shù)據(jù)安全管理是從數(shù)據(jù)資產(chǎn)整理開(kāi)始的。將數(shù)據(jù)資產(chǎn)進(jìn)行整理分類(lèi),可以明確敏感數(shù)據(jù)在系統(tǒng)內(nèi)的分布情況,判斷敏感數(shù)據(jù)是如何被訪(fǎng)問(wèn)的,以及確定當(dāng)前賬號(hào)和授權(quán)的狀態(tài)。依據(jù)數(shù)據(jù)價(jià)值和數(shù)據(jù)特性,對(duì)企業(yè)的核心數(shù)據(jù)資產(chǎn)進(jìn)行分類(lèi),利用數(shù)據(jù)治理工具將其模型化,確定敏感數(shù)據(jù)的位置、描述和處理方法,確保數(shù)據(jù)的合法合規(guī)地使用。