數(shù)據(jù)治理體系內(nèi)容從兩個(gè)維度來(lái)看:
1)數(shù)據(jù)治理難點(diǎn)痛點(diǎn):數(shù)據(jù)脈絡(luò)不清晰、數(shù)據(jù)匯聚能力不足、數(shù)據(jù)管控能力薄弱、數(shù)據(jù)治理體系不完善、開放形式不完善。
2)數(shù)據(jù)治理5個(gè)核心:理、聚、管、治、用。

數(shù)據(jù)治理體系主要包含內(nèi)容有數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)建模、數(shù)據(jù)集成、數(shù)據(jù)生命周期、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開放、數(shù)據(jù)安全及數(shù)據(jù)應(yīng)用。

2.1、元數(shù)據(jù)解決的問題 有什么數(shù)據(jù) - 數(shù)據(jù)是什么 - 來(lái)自何處 - 如何流轉(zhuǎn) - 誰(shuí)可以訪問其本質(zhì)也是一種數(shù)據(jù),,開展
元數(shù)據(jù)管理工作是開展
數(shù)據(jù)資產(chǎn)管理的基礎(chǔ)。
2.2、元數(shù)據(jù)分類 業(yè)務(wù)元數(shù)據(jù):描述數(shù)據(jù)系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù);包括業(yè)務(wù)術(shù)語(yǔ)、信息分類、指標(biāo)、統(tǒng)計(jì)口徑等。(從業(yè)務(wù)角度描述的)
技術(shù)元數(shù)據(jù):描述數(shù)據(jù)系統(tǒng)中技術(shù)領(lǐng)域相關(guān)的概念、關(guān)系和規(guī)則的數(shù)據(jù);包括數(shù)據(jù)平臺(tái)內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義、源數(shù)據(jù)到目的數(shù)據(jù)的映射、數(shù)據(jù)轉(zhuǎn)換加工過程的描述等。
管理元數(shù)據(jù):描述數(shù)據(jù)系統(tǒng)中管理領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù);主要包括人員角色、崗位職責(zé)、管理流程等信息。
2.3、元數(shù)據(jù)模型成熟度
1、第一階段:需要手動(dòng)管理元數(shù)據(jù),即在數(shù)據(jù)治理流程外需要額外增加的步驟。
2、第二階段:在數(shù)據(jù)探查階段自動(dòng)生成元數(shù)據(jù)。
3、第三階段:自動(dòng)構(gòu)建數(shù)據(jù)流轉(zhuǎn)元數(shù)據(jù)。

2.4、元數(shù)據(jù)建設(shè)目標(biāo)和管理手段

2.5元數(shù)據(jù)管理
元數(shù)據(jù)管理方法:

元數(shù)據(jù)管理能力:

常見的數(shù)據(jù)標(biāo)準(zhǔn)包含基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)。

主要構(gòu)成:業(yè)務(wù)定義+管理信息+技術(shù)屬性

數(shù)據(jù)標(biāo)準(zhǔn)包含內(nèi)容包括:主題&分類+標(biāo)注屬性+標(biāo)準(zhǔn)代碼

不同行業(yè)的標(biāo)準(zhǔn)不同,這里僅是舉例說(shuō)明。

如:性別、身份證、金額、手機(jī)號(hào)碼、行業(yè)、級(jí)別的分級(jí)分類的代碼等
3.3、數(shù)據(jù)標(biāo)準(zhǔn)管理體系涉及思路 數(shù)據(jù)標(biāo)準(zhǔn)來(lái)源于業(yè)務(wù),服務(wù)于業(yè)務(wù)。
依據(jù)已有標(biāo)準(zhǔn)進(jìn)行建設(shè)

基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn):業(yè)務(wù)化視角指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn):從管理角度出發(fā)

數(shù)據(jù)標(biāo)準(zhǔn)的制定是一個(gè)以業(yè)務(wù)
管理為主導(dǎo)、外部要求為依據(jù)、企業(yè)現(xiàn)狀為基礎(chǔ)的兼容過程。

3.4、數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)體系 通過統(tǒng)一標(biāo)準(zhǔn)和架構(gòu)規(guī)范,統(tǒng)一指標(biāo)、統(tǒng)一術(shù)語(yǔ)、統(tǒng)一模型、統(tǒng)一信息項(xiàng),解決數(shù)據(jù)口徑解釋不清晰、業(yè)務(wù)和數(shù)據(jù)理解不一致等問題,實(shí)現(xiàn)數(shù)據(jù)在架構(gòu)層面的統(tǒng)一

但并非所有基礎(chǔ)類數(shù)據(jù)都要建立標(biāo)準(zhǔn),納入標(biāo)準(zhǔn)的數(shù)據(jù)項(xiàng)需要滿足共享性、重要性和可行性的準(zhǔn)入原則。3.5、管理類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)原則
定義:分析類數(shù)據(jù)標(biāo)準(zhǔn)的業(yè)務(wù)含義和所適用的業(yè)務(wù)場(chǎng)景保持一致。
口徑:分析類數(shù)據(jù)標(biāo)準(zhǔn)的業(yè)務(wù)取值范圍、計(jì)算方法和編碼規(guī)則等業(yè)務(wù)規(guī)則保持一直。
名稱:分析類數(shù)據(jù)標(biāo)準(zhǔn)中文名稱和英文名稱均采用統(tǒng)一命名規(guī)則,表示相同業(yè)務(wù)含義的信息項(xiàng)名稱應(yīng)保持一直。
參照:各分析類數(shù)據(jù)標(biāo)準(zhǔn)項(xiàng)標(biāo)準(zhǔn)化時(shí)參考的外部標(biāo)準(zhǔn)(包括國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)),內(nèi)部業(yè)務(wù)制度和業(yè)務(wù)規(guī)范應(yīng)保持一致。
來(lái)源:每個(gè)分析類數(shù)據(jù)標(biāo)準(zhǔn)都應(yīng)有權(quán)威的來(lái)源系統(tǒng);其他系統(tǒng)使用該信息時(shí)應(yīng)直接取用權(quán)威系統(tǒng)結(jié)果,以保持一致。

以下為某企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系框架示例,分為基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)和管理類數(shù)據(jù)標(biāo)準(zhǔn)

3.6、數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理

4.1、概念 企業(yè)級(jí)數(shù)據(jù)模型建設(shè)方法:從全局入手,涉及標(biāo)準(zhǔn)化數(shù)據(jù)模型,構(gòu)建統(tǒng)一的數(shù)據(jù)模型管控體系,豐富和完善數(shù)據(jù)實(shí)體相關(guān)屬性信息,梳理數(shù)據(jù)實(shí)體之間的邏輯關(guān)系,最終形成不同主題域數(shù)據(jù)模型。

4.2、數(shù)據(jù)模型分類

4.3、數(shù)據(jù)模型生命周期

4.4、案例

5.1、概念 數(shù)據(jù)集成:主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行再集中、再統(tǒng)一管理的過程,是一個(gè)漸進(jìn)的過程,主要有新的、不同的數(shù)據(jù)產(chǎn)生,就不斷有數(shù)據(jù)集成的步驟和方案執(zhí)行。數(shù)據(jù)集成是把不同來(lái)源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)的集中,從而為企業(yè)數(shù)據(jù)共享提供基礎(chǔ)支撐。

5.2、數(shù)據(jù)集成整體架構(gòu)

6.1、階段劃分
按照兩個(gè)大的階段來(lái)劃分:數(shù)據(jù)治理規(guī)劃階段+數(shù)據(jù)生命周期管理階段

數(shù)據(jù)治理規(guī)劃階段:
業(yè)務(wù)規(guī)劃定義階段:業(yè)務(wù)規(guī)劃、業(yè)務(wù)標(biāo)準(zhǔn)設(shè)計(jì)
應(yīng)用設(shè)計(jì)實(shí)現(xiàn)階段:數(shù)據(jù)模型設(shè)計(jì)、應(yīng)用標(biāo)準(zhǔn)設(shè)計(jì)、應(yīng)用設(shè)計(jì)實(shí)現(xiàn)、數(shù)據(jù)錄入
數(shù)據(jù)生命周期管理階段:
數(shù)據(jù)創(chuàng)建:利用數(shù)據(jù)模型保證數(shù)據(jù)完整、執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)保證數(shù)據(jù)準(zhǔn)確、加入數(shù)據(jù)質(zhì)量檢查創(chuàng)建準(zhǔn)確、保證數(shù)據(jù)在合理的系統(tǒng)生成;
數(shù)據(jù)使用:利用元數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)使用、利用數(shù)據(jù)標(biāo)準(zhǔn)保證數(shù)據(jù)準(zhǔn)確、利用數(shù)據(jù)質(zhì)量檢查加工準(zhǔn)確、確保數(shù)據(jù)在合理的系統(tǒng)使用、控制數(shù)據(jù)的派生;
數(shù)據(jù)歸檔:利用評(píng)估手段保證歸檔時(shí)機(jī)、分?jǐn)?shù)據(jù)類型規(guī)檔數(shù)據(jù);
數(shù)據(jù)銷毀:利用評(píng)估手段保證數(shù)據(jù)銷毀時(shí)機(jī),分?jǐn)?shù)據(jù)類型銷毀數(shù)據(jù)。
要求:
滿足對(duì)歷史數(shù)據(jù)查詢相關(guān)政策和管理制度的要求
滿足業(yè)務(wù)操作和管理分析的需要
滿足審計(jì)管理要求
減少數(shù)據(jù)冗余,提高數(shù)據(jù)一致性
存儲(chǔ)、硬件、運(yùn)維等方面基礎(chǔ)設(shè)施投入
提升應(yīng)用系統(tǒng)性能,提高響應(yīng)速度
6.2、管理要求和手段

6.3、管理規(guī)范和管理辦法

7.1、數(shù)據(jù)質(zhì)量管理目標(biāo) 根據(jù)數(shù)據(jù)消費(fèi)者的需求,開發(fā)一種滿足數(shù)據(jù)質(zhì)量要求的管理方法
定義
數(shù)據(jù)質(zhì)量控制的標(biāo)準(zhǔn)和規(guī)范,并作文整個(gè)數(shù)據(jù)生命周期的一部分
定義和事實(shí)測(cè)量、監(jiān)控和報(bào)告數(shù)據(jù)質(zhì)量水平的過程
根據(jù)數(shù)據(jù)消費(fèi)者要求,通過改變流程和系統(tǒng),以及參與可顯著改善數(shù)據(jù)質(zhì)量的活動(dòng),識(shí)別和倡導(dǎo)提高數(shù)據(jù)質(zhì)量的機(jī)會(huì)
7.2、生命周期 計(jì)劃階段:數(shù)據(jù)質(zhì)量團(tuán)隊(duì)評(píng)估已知的問題范圍、影響和優(yōu)先級(jí),并評(píng)估解決這些問題的備選方案。
執(zhí)行計(jì)劃:數(shù)據(jù)質(zhì)量團(tuán)隊(duì)負(fù)責(zé)努力解決引起問題的根本原因,并做出對(duì)持續(xù)監(jiān)控?cái)?shù)據(jù)的計(jì)劃(技術(shù)問題、流程問題)。
檢查階段:這一階段包括積極監(jiān)控按要求評(píng)測(cè)的數(shù)據(jù)質(zhì)量。
處理階段:處理和解決新出現(xiàn)的數(shù)據(jù)質(zhì)量問題的活動(dòng)。
7.3、數(shù)據(jù)質(zhì)量維度

7.4、數(shù)據(jù)質(zhì)量常用工具

圍繞
數(shù)據(jù)價(jià)值通道(數(shù)據(jù)資產(chǎn) -> 數(shù)據(jù)服務(wù) -> 業(yè)務(wù)應(yīng)用)來(lái)設(shè)計(jì)數(shù)據(jù)開發(fā)的全流程管理,推動(dòng)數(shù)據(jù)價(jià)值的釋放。

8.1、數(shù)據(jù)資產(chǎn)
數(shù)據(jù)資產(chǎn)的應(yīng)用實(shí)現(xiàn)方式,打通基礎(chǔ)數(shù)據(jù)鏈條,實(shí)現(xiàn)聯(lián)通協(xié)同,提升數(shù)據(jù)價(jià)值

數(shù)據(jù)資產(chǎn)生命周期:注冊(cè)、變更、監(jiān)控、下線

8.2、數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)技術(shù)架構(gòu):


10.1、含義



10.2、ETL模式






10.3、離線和實(shí)時(shí)
實(shí)時(shí)數(shù)據(jù):


離線數(shù)據(jù):


使用場(chǎng)景:

(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)