基本概念

什么是數(shù)據(jù)治理?

答：又叫”數(shù)據(jù)管控”。引用《DAMA 數(shù)據(jù)管理知識(shí)體系指南》一書給出的定義：數(shù)據(jù)治理是對(duì)數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動(dòng)集合（規(guī)劃、監(jiān)控和執(zhí)行）。數(shù)據(jù)治理職能指導(dǎo)其他數(shù)據(jù)管理職能如何執(zhí)行。

數(shù)據(jù)元：通過名稱、格式、長(zhǎng)度、定義值域等一系列屬性描述的數(shù)據(jù)單元。

代碼集：數(shù)據(jù)元的取值范圍。

數(shù)據(jù)元類目：按照標(biāo)準(zhǔn)規(guī)范對(duì)數(shù)據(jù)元進(jìn)行分類。

元數(shù)據(jù)：對(duì)數(shù)據(jù)資源的描述性信息（數(shù)據(jù)的數(shù)據(jù)）。例如數(shù)據(jù)表的字段就是描述這些數(shù)據(jù)表中數(shù)據(jù)的元數(shù)據(jù)。

元模型：定義各種元數(shù)據(jù)的結(jié)構(gòu)以及元數(shù)據(jù)間的關(guān)系。

概述

元數(shù)據(jù)（Metadata）?使得用戶可以掌握數(shù)據(jù)的歷史情況，如數(shù)據(jù)從哪里來(lái)？流通時(shí)間有多長(zhǎng)？更新頻率是多大？數(shù)據(jù)元素的含義是什么？對(duì)它已經(jīng)進(jìn)行了哪些計(jì)算、轉(zhuǎn)換和篩選等等。在需求不確定情況下，在瞬間萬(wàn)變的商業(yè)環(huán)境下，元數(shù)據(jù)可以更好的支持需求的變化，降低項(xiàng)目風(fēng)險(xiǎn)。

元數(shù)據(jù)按照適用場(chǎng)景可有以下兩種區(qū)分：

• 技術(shù)元數(shù)據(jù)—-從開發(fā)的角度描述的元數(shù)據(jù)，應(yīng)用于開發(fā)、管理和維護(hù)數(shù)據(jù)治理平臺(tái)。
• 業(yè)務(wù)元數(shù)據(jù)—-從業(yè)務(wù)的角度描述的元數(shù)據(jù)，提供良好的語(yǔ)義層定義，更便于業(yè)務(wù)人員理解。

元數(shù)據(jù)貫徹于建立數(shù)據(jù)倉(cāng)庫(kù)的全過程，不僅僅只是TL過程。

元數(shù)據(jù)標(biāo)準(zhǔn)?不統(tǒng)一，各廠商、各軟件采用不同的元數(shù)據(jù)標(biāo)準(zhǔn)。業(yè)界需要統(tǒng)一的標(biāo)準(zhǔn)，以便各個(gè)軟件系統(tǒng)之間可以相互交換元數(shù)據(jù)。CWG 1.0 (Common Warehouse Metamodel Version 1.0)?就是一種，其定義一個(gè)描述數(shù)據(jù)源、數(shù)據(jù)目的、轉(zhuǎn)換、分析的元數(shù)據(jù)框架，以及定義建立和管理數(shù)據(jù)倉(cāng)庫(kù)的過程和操作，提供使用信息的繼承。目前宣布支持CWM的廠商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3個(gè)工業(yè)標(biāo)準(zhǔn)：

• UML - Unified Modeling Language，OMG建模標(biāo)準(zhǔn)；
• MOF - Meta Object Facility，OMG建立元模型和模型庫(kù)的標(biāo)準(zhǔn)，提供在異構(gòu)環(huán)境下的數(shù)據(jù)交換的接口；
• XMI - XML Metadata Interchange，OMG元數(shù)據(jù)交換標(biāo)準(zhǔn)。

數(shù)據(jù)分類

對(duì)每類數(shù)據(jù)進(jìn)行治理時(shí)，關(guān)注點(diǎn)、方法以及效果都不同，需要區(qū)別對(duì)待。

主數(shù)據(jù)?關(guān)注的是”人”和”物”，主數(shù)據(jù)管理是數(shù)據(jù)治理領(lǐng)域一個(gè)專門的話題，其主要目的是對(duì)關(guān)鍵業(yè)務(wù)實(shí)體（如員工、客戶、產(chǎn)品、供應(yīng)商等）建立統(tǒng)一視圖，讓客觀世界里本是同一個(gè)人或物，在數(shù)據(jù)世界里也能做到唯一識(shí)別，而不是在不同系統(tǒng)、不同業(yè)務(wù)中成為不同的人或物。

事務(wù)數(shù)據(jù)?關(guān)注的是”事”，事務(wù)數(shù)據(jù)沒有形成單獨(dú)的數(shù)據(jù)治理領(lǐng)域，由于事務(wù)數(shù)據(jù)是BI分析的基礎(chǔ)，因此往往在數(shù)據(jù)質(zhì)量管理中重點(diǎn)關(guān)注。

參考數(shù)據(jù)?是更細(xì)粒度的數(shù)據(jù)，是對(duì)”人”“事”“物”的某些屬性進(jìn)行規(guī)范性描述的，對(duì)參考數(shù)據(jù)的管理一般會(huì)與主數(shù)據(jù)管理同時(shí)進(jìn)行，或與BI數(shù)據(jù)質(zhì)量管理同時(shí)進(jìn)行，因?yàn)橹笜?biāo)維度和維值直接影響到BI數(shù)據(jù)質(zhì)量。

元數(shù)據(jù)?是一個(gè)包羅萬(wàn)象的概念，其本質(zhì)是為數(shù)據(jù)提供描述，所以任何數(shù)據(jù)都有元數(shù)據(jù)。數(shù)據(jù)治理領(lǐng)域的元數(shù)據(jù)，更多是指BI、數(shù)據(jù)倉(cāng)庫(kù)這個(gè)范疇內(nèi)的元數(shù)據(jù)（國(guó)際上有Common Warehouse Meta-model規(guī)范），此外還有信息資源管理的元數(shù)據(jù)（如Dublin core協(xié)議）、地理信息元數(shù)據(jù)、氣象元數(shù)據(jù)等等。正因?yàn)槿绱藦V泛，也造成了從業(yè)者對(duì)其有極高的預(yù)期以及實(shí)踐后的極大失落。

現(xiàn)在極少談”元數(shù)據(jù)”，而是談”數(shù)據(jù)定義”，談數(shù)據(jù)必談定義，但卻又不將其作為專門一類數(shù)據(jù)來(lái)管理，在數(shù)據(jù)治理領(lǐng)域單獨(dú)做元數(shù)據(jù)管理，收效甚微。 主要原因有兩點(diǎn)：

1. 數(shù)據(jù)生產(chǎn)與數(shù)據(jù)管理脫節(jié)，元數(shù)據(jù)管理更多是在數(shù)據(jù)生產(chǎn)的事后進(jìn)行元數(shù)據(jù)收集和應(yīng)用展現(xiàn)，對(duì)數(shù)據(jù)生產(chǎn)起到的管控作用極小；
2. 工具自身問題：雖然很多工具都號(hào)稱支持CWM規(guī)范，但元數(shù)據(jù)自動(dòng)獲取始終是技術(shù)難題，而且對(duì)于存儲(chǔ)過程、自定義腳本很難自動(dòng)解析和獲取，就無(wú)法準(zhǔn)確、完整展現(xiàn)細(xì)節(jié)的數(shù)據(jù)處理過程。

統(tǒng)計(jì)分析數(shù)據(jù)?，目前BI系統(tǒng)建設(shè)的主要作用就是做各種指標(biāo)和報(bào)表的計(jì)算和展示。統(tǒng)計(jì)分析數(shù)據(jù)往往是數(shù)據(jù)治理的重點(diǎn)，統(tǒng)計(jì)分析數(shù)據(jù)的數(shù)據(jù)流分析、統(tǒng)計(jì)分析數(shù)據(jù)的數(shù)值的波動(dòng)性、平衡性監(jiān)控，幾乎是各個(gè)企業(yè)做數(shù)據(jù)治理的必備應(yīng)用。