數(shù)據(jù)治理體系

數(shù)據(jù)治理體系內(nèi)容從兩個維度來看：

1）數(shù)據(jù)治理難點痛點：數(shù)據(jù)脈絡(luò)不清晰、數(shù)據(jù)匯聚能力不足、數(shù)據(jù)管控能力薄弱、數(shù)據(jù)治理體系不完善、開放形式不完善。

2）數(shù)據(jù)治理5個核心：理、聚、管、治、用。

數(shù)據(jù)治理體系主要包含內(nèi)容有數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)建模、數(shù)據(jù)集成、數(shù)據(jù)生命周期、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開放、數(shù)據(jù)安全及數(shù)據(jù)應(yīng)用。

2.1、元數(shù)據(jù)解決的問題

有什么數(shù)據(jù) - 數(shù)據(jù)是什么 - 來自何處 - 如何流轉(zhuǎn) - 誰可以訪問

其本質(zhì)也是一種數(shù)據(jù)，，開展元數(shù)據(jù)管理工作是開展數(shù)據(jù)資產(chǎn)管理的基礎(chǔ)。

2.2、元數(shù)據(jù)分類

業(yè)務(wù)元數(shù)據(jù)：描述數(shù)據(jù)系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)；包括業(yè)務(wù)術(shù)語、信息分類、指標(biāo)、統(tǒng)計口徑等。（從業(yè)務(wù)角度描述的）

技術(shù)元數(shù)據(jù)：描述數(shù)據(jù)系統(tǒng)中技術(shù)領(lǐng)域相關(guān)的概念、關(guān)系和規(guī)則的數(shù)據(jù)；包括數(shù)據(jù)平臺內(nèi)對象和數(shù)據(jù)結(jié)構(gòu)的定義、源數(shù)據(jù)到目的數(shù)據(jù)的映射、數(shù)據(jù)轉(zhuǎn)換加工過程的描述等。

管理元數(shù)據(jù)：描述數(shù)據(jù)系統(tǒng)中管理領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)；主要包括人員角色、崗位職責(zé)、管理流程等信息。

2.3、元數(shù)據(jù)模型成熟度

1、第一階段：需要手動管理元數(shù)據(jù)，即在數(shù)據(jù)治理流程外需要額外增加的步驟。

2、第二階段：在數(shù)據(jù)探查階段自動生成元數(shù)據(jù)。

3、第三階段：自動構(gòu)建數(shù)據(jù)流轉(zhuǎn)元數(shù)據(jù)。

2.4、元數(shù)據(jù)建設(shè)目標(biāo)和管理手段

2.5、元數(shù)據(jù)管理

元數(shù)據(jù)管理方法：

元數(shù)據(jù)管理能力：

3.1、常見的數(shù)據(jù)標(biāo)準(zhǔn)包含基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)和指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)。

主要構(gòu)成：業(yè)務(wù)定義+管理信息+技術(shù)屬性

數(shù)據(jù)標(biāo)準(zhǔn)包含內(nèi)容包括：主題&分類+標(biāo)注屬性+標(biāo)準(zhǔn)代碼

不同行業(yè)的標(biāo)準(zhǔn)不同，這里僅是舉例說明。

如：性別、身份證、金額、手機(jī)號碼、行業(yè)、級別的分級分類的代碼等

3.3、數(shù)據(jù)標(biāo)準(zhǔn)管理體系涉及思路 數(shù)據(jù)標(biāo)準(zhǔn)來源于業(yè)務(wù)，服務(wù)于業(yè)務(wù)。 依據(jù)已有標(biāo)準(zhǔn)進(jìn)行建設(shè)

基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)：業(yè)務(wù)化視角

指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)：從管理角度出發(fā)

數(shù)據(jù)標(biāo)準(zhǔn)的制定是一個以業(yè)務(wù)管理為主導(dǎo)、外部要求為依據(jù)、企業(yè)現(xiàn)狀為基礎(chǔ)的兼容過程。

3.4、數(shù)據(jù)標(biāo)準(zhǔn)架構(gòu)體系

通過統(tǒng)一標(biāo)準(zhǔn)和架構(gòu)規(guī)范，統(tǒng)一指標(biāo)、統(tǒng)一術(shù)語、統(tǒng)一模型、統(tǒng)一信息項，解決數(shù)據(jù)口徑解釋不清晰、業(yè)務(wù)和數(shù)據(jù)理解不一致等問題，實現(xiàn)數(shù)據(jù)在架構(gòu)層面的統(tǒng)一

但并非所有基礎(chǔ)類數(shù)據(jù)都要建立標(biāo)準(zhǔn)，納入標(biāo)準(zhǔn)的數(shù)據(jù)項需要滿足共享性、重要性和可行性的準(zhǔn)入原則。

3.5、管理類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)原則

定義：分析類數(shù)據(jù)標(biāo)準(zhǔn)的業(yè)務(wù)含義和所適用的業(yè)務(wù)場景保持一致。

口徑：分析類數(shù)據(jù)標(biāo)準(zhǔn)的業(yè)務(wù)取值范圍、計算方法和編碼規(guī)則等業(yè)務(wù)規(guī)則保持一直。

名稱：分析類數(shù)據(jù)標(biāo)準(zhǔn)中文名稱和英文名稱均采用統(tǒng)一命名規(guī)則，表示相同業(yè)務(wù)含義的信息項名稱應(yīng)保持一直。

參照：各分析類數(shù)據(jù)標(biāo)準(zhǔn)項標(biāo)準(zhǔn)化時參考的外部標(biāo)準(zhǔn)（包括國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)），內(nèi)部業(yè)務(wù)制度和業(yè)務(wù)規(guī)范應(yīng)保持一致。

來源：每個分析類數(shù)據(jù)標(biāo)準(zhǔn)都應(yīng)有權(quán)威的來源系統(tǒng)；其他系統(tǒng)使用該信息時應(yīng)直接取用權(quán)威系統(tǒng)結(jié)果，以保持一致。

以下為某企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系框架示例，分為基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)和管理類數(shù)據(jù)標(biāo)準(zhǔn)

3.6、數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理

4.1、概念

企業(yè)級數(shù)據(jù)模型建設(shè)方法：從全局入手，涉及標(biāo)準(zhǔn)化數(shù)據(jù)模型，構(gòu)建統(tǒng)一的數(shù)據(jù)模型管控體系，豐富和完善數(shù)據(jù)實體相關(guān)屬性信息，梳理數(shù)據(jù)實體之間的邏輯關(guān)系，最終形成不同主題域數(shù)據(jù)模型。

4.2、數(shù)據(jù)模型分類

4.3、數(shù)據(jù)模型生命周期

4.4、案例

數(shù)據(jù)集成

5.1、概念

數(shù)據(jù)集成：主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行再集中、再統(tǒng)一管理的過程，是一個漸進(jìn)的過程，主要有新的、不同的數(shù)據(jù)產(chǎn)生，就不斷有數(shù)據(jù)集成的步驟和方案執(zhí)行。數(shù)據(jù)集成是把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)的集中，從而為企業(yè)數(shù)據(jù)共享提供基礎(chǔ)支撐。

5.2、數(shù)據(jù)集成整體架構(gòu)

6.1、階段劃分

按照兩個大的階段來劃分：數(shù)據(jù)治理規(guī)劃階段+數(shù)據(jù)生命周期管理階段

數(shù)據(jù)治理規(guī)劃階段：

業(yè)務(wù)規(guī)劃定義階段：業(yè)務(wù)規(guī)劃、業(yè)務(wù)標(biāo)準(zhǔn)設(shè)計

應(yīng)用設(shè)計實現(xiàn)階段：數(shù)據(jù)模型設(shè)計、應(yīng)用標(biāo)準(zhǔn)設(shè)計、應(yīng)用設(shè)計實現(xiàn)、數(shù)據(jù)錄入

數(shù)據(jù)生命周期管理階段：

數(shù)據(jù)創(chuàng)建：利用數(shù)據(jù)模型保證數(shù)據(jù)完整、執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)保證數(shù)據(jù)準(zhǔn)確、加入數(shù)據(jù)質(zhì)量檢查創(chuàng)建準(zhǔn)確、保證數(shù)據(jù)在合理的系統(tǒng)生成；

數(shù)據(jù)使用：利用元數(shù)據(jù)監(jiān)控數(shù)據(jù)使用、利用數(shù)據(jù)標(biāo)準(zhǔn)保證數(shù)據(jù)準(zhǔn)確、利用數(shù)據(jù)質(zhì)量檢查加工準(zhǔn)確、確保數(shù)據(jù)在合理的系統(tǒng)使用、控制數(shù)據(jù)的派生；

數(shù)據(jù)歸檔：利用評估手段保證歸檔時機(jī)、分?jǐn)?shù)據(jù)類型規(guī)檔數(shù)據(jù)；

數(shù)據(jù)銷毀：利用評估手段保證數(shù)據(jù)銷毀時機(jī)，分?jǐn)?shù)據(jù)類型銷毀數(shù)據(jù)。

要求：

滿足對歷史數(shù)據(jù)查詢相關(guān)政策和管理制度的要求

滿足業(yè)務(wù)操作和管理分析的需要

滿足審計管理要求

減少數(shù)據(jù)冗余，提高數(shù)據(jù)一致性

存儲、硬件、運維等方面基礎(chǔ)設(shè)施投入

提升應(yīng)用系統(tǒng)性能，提高響應(yīng)速度

6.2、管理要求和手段

6.3、管理規(guī)范和管理辦法

7.1、數(shù)據(jù)質(zhì)量管理目標(biāo)

1.根據(jù)數(shù)據(jù)消費者的需求，開發(fā)一種滿足數(shù)據(jù)質(zhì)量要求的管理方法

2.定義數(shù)據(jù)質(zhì)量控制的標(biāo)準(zhǔn)和規(guī)范，并作文整個數(shù)據(jù)生命周期的一部分

3.定義和事實測量、監(jiān)控和報告數(shù)據(jù)質(zhì)量水平的過程

4.根據(jù)數(shù)據(jù)消費者要求，通過改變流程和系統(tǒng)，以及參與可顯著改善數(shù)據(jù)質(zhì)量的活動，識別和倡導(dǎo)提高數(shù)據(jù)質(zhì)量的機(jī)會

7.2、生命周期

計劃階段：數(shù)據(jù)質(zhì)量團(tuán)隊評估已知的問題范圍、影響和優(yōu)先級，并評估解決這些問題的備選方案。

執(zhí)行計劃：數(shù)據(jù)質(zhì)量團(tuán)隊負(fù)責(zé)努力解決引起問題的根本原因，并做出對持續(xù)監(jiān)控數(shù)據(jù)的計劃（技術(shù)問題、流程問題）。

檢查階段：這一階段包括積極監(jiān)控按要求評測的數(shù)據(jù)質(zhì)量。

處理階段：處理和解決新出現(xiàn)的數(shù)據(jù)質(zhì)量問題的活動。

7.3、數(shù)據(jù)質(zhì)量維度

7.4 數(shù)據(jù)質(zhì)量常用工具

圍繞數(shù)據(jù)價值通道（數(shù)據(jù)資產(chǎn) -> 數(shù)據(jù)服務(wù) -> 業(yè)務(wù)應(yīng)用）來設(shè)計數(shù)據(jù)開發(fā)的全流程管理，推動數(shù)據(jù)價值的釋放。

8.1 數(shù)據(jù)資產(chǎn)

數(shù)據(jù)資產(chǎn)的應(yīng)用實現(xiàn)方式，打通基礎(chǔ)數(shù)據(jù)鏈條，實現(xiàn)聯(lián)通協(xié)同，提升數(shù)據(jù)價值

數(shù)據(jù)資產(chǎn)生命周期：注冊、變更、監(jiān)控、下線

8.2 數(shù)據(jù)服務(wù)

數(shù)據(jù)服務(wù)技術(shù)架構(gòu):

數(shù)據(jù)安全體系包含：數(shù)據(jù)安全技術(shù)體系+安全管理體系+安全運營體系

10.1、含義

10.2、ETL模式

10.3、離線和實時

實時數(shù)據(jù)：

離線數(shù)據(jù)：

使用場景：