什么是數(shù)據(jù)治理

數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一主數(shù)據(jù)、從具有很少或沒有組織和流程治理到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)治理、從嘗試處理主數(shù)據(jù)混亂狀況到主數(shù)據(jù)井井有條的一個(gè)過程。

數(shù)據(jù)治理的全過程

數(shù)據(jù)治理其實(shí)是一種體系，是一個(gè)關(guān)注于信息系統(tǒng)執(zhí)行層面的體系，這一體系的目的是整合IT與業(yè)務(wù)部門的知識(shí)和意見，通過一個(gè)類似于監(jiān)督委員會(huì)或項(xiàng)目小組的虛擬組織對(duì)企業(yè)的信息化建設(shè)進(jìn)行全方位的監(jiān)管，這一組織的基礎(chǔ)是企業(yè)高層的授權(quán)和業(yè)務(wù)部門與IT部門的建設(shè)性合作。從范圍來講，數(shù)據(jù)治理涵蓋了從前端事務(wù)處理系統(tǒng)、后端業(yè)務(wù)數(shù)據(jù)庫到終端的數(shù)據(jù)分析，從源頭到終端再回到源頭形成一個(gè)閉環(huán)負(fù)反饋系統(tǒng)（控制理論中趨穩(wěn)的系統(tǒng)）。從目的來講，數(shù)據(jù)治理就是要對(duì)數(shù)據(jù)的獲取、處理、使用進(jìn)行監(jiān)管（監(jiān)管就是我們在執(zhí)行層面對(duì)信息系統(tǒng)的負(fù)反饋），而監(jiān)管的職能主要通過以下五個(gè)方面的執(zhí)行力來保證——發(fā)現(xiàn)、監(jiān)督、控制、溝通、整合。

如果您將要添加一個(gè)多領(lǐng)域MDM (主數(shù)據(jù)是指在整個(gè)企業(yè)范圍內(nèi)各個(gè)系統(tǒng)(操作/事務(wù)型應(yīng)用系統(tǒng)以及分析型系統(tǒng))間要共享的數(shù)據(jù))系統(tǒng)并承認(rèn)CRM?和ERP?系統(tǒng)并不是設(shè)計(jì)用于管理主數(shù)據(jù)，為何不進(jìn)行下一步驟并取消它們的創(chuàng)建、更新或刪除主數(shù)據(jù)的功能，而是允許這些系統(tǒng)只能讀取和處理主數(shù)據(jù)呢？規(guī)定某一系統(tǒng)進(jìn)行數(shù)據(jù)的錄入，其他系統(tǒng)只用該系統(tǒng)的數(shù)據(jù)。或者另外搞一套系統(tǒng)，專門用來維護(hù)公共數(shù)據(jù)。

何時(shí)開始主動(dòng)數(shù)據(jù)治理？

一些情況要求立即開始主動(dòng)數(shù)據(jù)治理，例如當(dāng)您獲得多個(gè)CRM?系統(tǒng)和ERP?系統(tǒng)，它們要求與多領(lǐng)域MDM?系統(tǒng)集成，以便讓它們繼續(xù)充當(dāng)錄入系統(tǒng)，或當(dāng)您的當(dāng)前源系統(tǒng)非常脆弱或很難維護(hù)或修改。

在這些情況下，要忍受困難并從一開始便為主動(dòng)數(shù)據(jù)治理作出計(jì)劃。一些組織擁有成千上萬個(gè)直接在MDM?系統(tǒng)中授權(quán)主數(shù)據(jù)的最終用戶，并且有一個(gè)數(shù)據(jù)管理員團(tuán)隊(duì)支持他們、發(fā)現(xiàn)異常、解決低質(zhì)量匹配、在需要時(shí)手動(dòng)合并重復(fù)記錄等等。另一種應(yīng)用情況是當(dāng)您發(fā)現(xiàn)自己最終會(huì)選擇主動(dòng)數(shù)據(jù)治理方法—何必再為建立源系統(tǒng)到多領(lǐng)域MDM?系統(tǒng)的雙向集成而爭論？您或許不妨直接授權(quán)最終用戶來編寫主數(shù)據(jù)。

隨著越來越多的企業(yè)建立并廣泛應(yīng)用BI系統(tǒng)，數(shù)據(jù)治理的話題也在最近被越來越多地提及和討論。有專家表示，只有建立了一定的數(shù)據(jù)治理體系，用戶才會(huì)真正進(jìn)入商業(yè)智能的時(shí)代。

概念：管理舉措，持續(xù)改善

數(shù)據(jù)治理(Data Governance)，是由企業(yè)高級(jí)管理層的數(shù)據(jù)治理委員會(huì)發(fā)起并推行的，是關(guān)于如何進(jìn)行整個(gè)企業(yè)內(nèi)部數(shù)據(jù)的商業(yè)應(yīng)用和技術(shù)管理的一系列政策和程序。數(shù)據(jù)治理是一套持續(xù)改善管理機(jī)制，通常包括了組織架構(gòu)、政策制度、技術(shù)工具、數(shù)據(jù)標(biāo)準(zhǔn)、作業(yè)流程、監(jiān)督及考核等方方面面。

技術(shù)：主題眾多，元數(shù)據(jù)管理先行

數(shù)據(jù)治理涉及的IT技術(shù)主題眾多，包括元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、監(jiān)控與報(bào)告等。

根據(jù)權(quán)威數(shù)據(jù)管理研究機(jī)構(gòu)TDWI對(duì)數(shù)百家國際企業(yè)的調(diào)研結(jié)果，元數(shù)據(jù)管理的重要性在全部技術(shù)主題中位列第一。

元數(shù)據(jù)管理是語義工具，其重要性在于，它能夠?yàn)閿?shù)據(jù)治理建立一套數(shù)據(jù)資料庫，存儲(chǔ)治理范圍內(nèi)的數(shù)據(jù)定義，負(fù)責(zé)人，來源，轉(zhuǎn)換關(guān)系，目標(biāo)，質(zhì)量等級(jí)，依賴關(guān)系，安全權(quán)限等。這些信息對(duì)于商業(yè)整合，數(shù)據(jù)質(zhì)量，可審計(jì)性等數(shù)據(jù)治理目標(biāo)的實(shí)現(xiàn)至關(guān)重要。

元數(shù)據(jù)管理是實(shí)施數(shù)據(jù)治理的核心IT技術(shù)，有效的元數(shù)據(jù)管理將為數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成等技術(shù)的實(shí)施，以及數(shù)據(jù)治理目標(biāo)的最終實(shí)現(xiàn)奠定堅(jiān)實(shí)的基礎(chǔ)。

意義：發(fā)掘數(shù)據(jù)資產(chǎn)的商業(yè)價(jià)值數(shù)據(jù)深度使用

數(shù)據(jù)治理是專注于將數(shù)據(jù)作為企業(yè)的商業(yè)資產(chǎn)進(jìn)行應(yīng)用和管理的一套管理機(jī)制，能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，提高組織數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)廣泛共享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)應(yīng)用于業(yè)務(wù)、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價(jià)值。同時(shí)，數(shù)據(jù)治理將幫助組織更好的遵從內(nèi)外部有關(guān)數(shù)據(jù)使用和管理的監(jiān)管法規(guī)，如SOX法案，Basel II協(xié)議等。良好的數(shù)據(jù)治理必將為信息化時(shí)代的企業(yè)帶來不可替代的競爭優(yōu)勢。

數(shù)據(jù)治理(Data Governance)是圍繞將數(shù)據(jù)作為企業(yè)資產(chǎn)而展開的一系列的具體化工作。數(shù)據(jù)是企業(yè)最大的價(jià)值來源，同時(shí)也是最大的風(fēng)險(xiǎn)來源，數(shù)據(jù)管理不佳通常意味著業(yè)務(wù)決策效果不佳以及更可能面臨違規(guī)和失竊。而利用規(guī)則的可信數(shù)據(jù)有助于組織的業(yè)務(wù)創(chuàng)新提供更好的服務(wù)，提升客戶忠誠度，減少合規(guī)及報(bào)表要求所需工作，并提升創(chuàng)新能力。

數(shù)據(jù)治理不光是軟件，還要有相應(yīng)的流程、方法。

框架包括產(chǎn)出領(lǐng)域：數(shù)據(jù)風(fēng)險(xiǎn)管理、價(jià)值創(chuàng)造；驅(qū)動(dòng)領(lǐng)域：組織機(jī)構(gòu)/流程、管理制度、數(shù)據(jù)責(zé)任人；核心領(lǐng)域：數(shù)據(jù)質(zhì)量管理、信息生命周期管理、安全/信息披露/合規(guī)；支撐領(lǐng)域：數(shù)據(jù)模型/數(shù)據(jù)架構(gòu)、元數(shù)據(jù)/主數(shù)據(jù)/數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量審計(jì)與報(bào)告。

主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，比如客戶、合作伙伴、員工、產(chǎn)品、物料單等。

主數(shù)據(jù)管理旨在從企業(yè)的多個(gè)業(yè)務(wù)系統(tǒng)中整合最核心的需要共享的數(shù)據(jù)，集中進(jìn)行數(shù)據(jù)清洗，并以服務(wù)的方式把統(tǒng)一、完整、準(zhǔn)確的主數(shù)據(jù)分發(fā)給企業(yè)內(nèi)的操作型應(yīng)用和分析型應(yīng)用，包括業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程和決策支持系統(tǒng)等。

大數(shù)據(jù)的特點(diǎn)是3V，即大量化（Volume）、多種類（Variety）和高采集速度（Velocity）。大量化意味著傳統(tǒng)的數(shù)據(jù)質(zhì)量算法，除非有非常大的性能提升，是難以用在大數(shù)據(jù)環(huán)境下的，因?yàn)閽呙枰淮蔚臅r(shí)間可能都是無法接受的；多種類更增加了這種難度，因?yàn)閭鹘y(tǒng)的數(shù)據(jù)質(zhì)量算法基本上是基于關(guān)系數(shù)據(jù)的，對(duì)于象XML、文檔、圖數(shù)據(jù)等等類型，目前還沒有太好的數(shù)據(jù)質(zhì)量算法；高采集速度更是一個(gè)嚴(yán)峻的挑戰(zhàn)，因?yàn)椴杉^程本來就是數(shù)據(jù)質(zhì)量問題的主要來源，采集速度快，又不能及時(shí)進(jìn)行數(shù)據(jù)質(zhì)量處理，會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問題的堆積，越來越嚴(yán)重。

同時(shí)，數(shù)據(jù)質(zhì)量是一個(gè)綜合性的問題，一般認(rèn)為其包括三個(gè)方面：元數(shù)據(jù)的質(zhì)量、數(shù)據(jù)內(nèi)容的質(zhì)量和數(shù)據(jù)使用方式的質(zhì)量，而大數(shù)據(jù)的特點(diǎn)恰恰是元數(shù)據(jù)的弱化和未來使用方式的不確定性。