數(shù)據(jù)治理：數(shù)據(jù)價值的釋放之匙?

據(jù)戴爾易安信最新調(diào)查顯示：全球大多數(shù)企業(yè)現(xiàn)已認識到數(shù)據(jù)的價值，受管理的平均數(shù)據(jù)量從2016年的1.45PB增加至2018年的9.70PB。全球范圍內(nèi)，92%的受訪者都看到了數(shù)據(jù)的潛在價值，36%的受訪者當前正將數(shù)據(jù)轉(zhuǎn)化為經(jīng)濟效益。隨著數(shù)據(jù)價值的日益突顯，越來越多的企業(yè)開始進行數(shù)字戰(zhàn)略轉(zhuǎn)型，有的通過數(shù)據(jù)平臺過渡到數(shù)據(jù)中臺，有的直接建設(shè)數(shù)據(jù)中臺。所謂“無規(guī)矩不成方圓”，因歷史原因企業(yè)在發(fā)展過程中已經(jīng)形成了系統(tǒng)林立的情況，匯集到數(shù)據(jù)平臺的數(shù)據(jù)都各具特色，缺乏標準、規(guī)范、治理的數(shù)據(jù)已經(jīng)失去了使用的價值。為了規(guī)范數(shù)據(jù)處理過程，凸顯數(shù)據(jù)業(yè)務(wù)價值，需對數(shù)據(jù)平臺的數(shù)據(jù)進行綜合管理，構(gòu)建標準化、流程化、自動化、一體化的數(shù)據(jù)治理體系，確保數(shù)據(jù)架構(gòu)規(guī)劃合理、數(shù)據(jù)加工條理清晰、數(shù)據(jù)處理可管控、數(shù)據(jù)知識可傳承。有效的數(shù)據(jù)治理可以確保企業(yè)數(shù)據(jù)全面一致可信，從而全面釋放數(shù)據(jù)資產(chǎn)的價值。02 數(shù)據(jù)治理之困只有確保數(shù)據(jù)的標準化、規(guī)范化、可信可用，才能進一步通過數(shù)據(jù)運營、數(shù)據(jù)應(yīng)用幫助企業(yè)實現(xiàn)數(shù)據(jù)資產(chǎn)管理、發(fā)現(xiàn)內(nèi)部數(shù)據(jù)問題、發(fā)掘數(shù)據(jù)價值，進而實現(xiàn)企業(yè)數(shù)據(jù)資產(chǎn)的盤活和有效利用。數(shù)據(jù)治理應(yīng)該采用最簡單的手段管理最有價值的數(shù)據(jù)，但在實際情況中，我們遇到過在很多數(shù)據(jù)治理開展過程中，常見的“兩不三難”的情況：

1）后向型治理，不一致：因歷史原因，很多企業(yè)采用“先建后治”的方式，通過手工填報、反向解析代碼、腳本等的方式進行元數(shù)據(jù)探查、血緣探查、數(shù)據(jù)質(zhì)量管理，事后才能發(fā)現(xiàn)問題，容易造成管理的內(nèi)容和生產(chǎn)內(nèi)容的不一致。

2）被動型治理，不高效：當發(fā)現(xiàn)質(zhì)量問題時建設(shè)質(zhì)量平臺、需要數(shù)據(jù)字典的時候建設(shè)元數(shù)據(jù)管理平臺，將原本完整的治理體系割裂為多個系統(tǒng)、多個平臺，造成系統(tǒng)集成難度高、治理效果差。

3）誤區(qū)型治理，難聚焦：隨著中臺的建設(shè)腳本和任務(wù)越來越多，本來管理數(shù)據(jù)變?yōu)榱斯芾沓绦颍粩?shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù)，走入誤區(qū)變成管理程序、腳本、任務(wù)，造成了管理失焦。

4）項目型治理，難延續(xù)：數(shù)據(jù)治理的最終目標是提升數(shù)據(jù)價值，是一個持續(xù)漫長的運營過程，需要逐步完善、分步迭代，指望一步到位完成數(shù)據(jù)治理是不現(xiàn)實的，但在實際執(zhí)行過程中往往以項目交付為目標，點到為止，導(dǎo)致治理不全面、無延續(xù)，效果也注定是差強人意。

5）兼職型治理，難落地：由于每個行業(yè)、企業(yè)、單位的組織體系、數(shù)據(jù)應(yīng)用、基礎(chǔ)架構(gòu)不同，需要通過方法論找到適合企業(yè)的特有的數(shù)據(jù)治理思路，同時需要專人或?qū)I(yè)團隊進行強有力的支撐，但實際執(zhí)行過程中往往是企業(yè)安排員工進行兼職管理，導(dǎo)致職責不清晰，主動性不強，治理工作落地困難。

數(shù)據(jù)治理之道

在傳統(tǒng)數(shù)據(jù)平臺階段，數(shù)據(jù)治理的目標主要是做管控，為數(shù)據(jù)部門建立一個的治理工作環(huán)境，包括標準、質(zhì)量等。而在數(shù)據(jù)中臺階段，用戶對數(shù)據(jù)的需求持續(xù)增長，用戶范圍從數(shù)據(jù)部門擴展到全企業(yè)，數(shù)據(jù)治理不能再只是面向數(shù)據(jù)部門了，需要成為面向全企業(yè)用戶的工作環(huán)境，需要以全企業(yè)用戶為中心，從給用戶提供服務(wù)的角度，管理好數(shù)據(jù)的同時為用戶提供自助獲得大數(shù)據(jù)的能力，幫助企業(yè)完成數(shù)字化轉(zhuǎn)型。通過分析數(shù)據(jù)治理實際開展過程中出現(xiàn)的一些問題，總結(jié)出了數(shù)據(jù)治理的幾個關(guān)鍵要素：

1）數(shù)據(jù)治理需要體系建設(shè)：為發(fā)揮數(shù)據(jù)中臺價值需要滿足三個要素：合理的平臺架構(gòu)、完善的治理服務(wù)、體系化的運營手段。根據(jù)企業(yè)的規(guī)模、所屬行業(yè)、數(shù)據(jù)量等情況選擇合適的平臺架構(gòu)；治理服務(wù)需要貫穿數(shù)據(jù)全生命周期，保證數(shù)據(jù)在采集、加工、共享、存儲、應(yīng)用整個過程中的完整性、準確性、一致性和實效性；運營手段則應(yīng)當包括規(guī)范的優(yōu)化、組織的優(yōu)化、平臺的優(yōu)化以及流程的優(yōu)化等等方面。

2）數(shù)據(jù)治理需要夯實基礎(chǔ)：數(shù)據(jù)治理需要循序漸進，但在數(shù)據(jù)中臺建設(shè)初期至少需要關(guān)注三個方面：數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全。規(guī)范化的模型管理是保障數(shù)據(jù)可以被治理的前提條件，高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)可用的前提條件，數(shù)據(jù)的安全管控是數(shù)據(jù)可以共享交換的前提條件。?

3）數(shù)據(jù)治理需要IT賦能：數(shù)據(jù)治理不是一堆規(guī)范文檔的堆砌，而是需要將治理過程中所產(chǎn)生的的規(guī)范、流程、標準落地到IT平臺上，在數(shù)據(jù)生產(chǎn)過程中通過前向的方式進行數(shù)據(jù)治理，避免事后稽核帶來運維成本的增加。

4）數(shù)據(jù)治理需要聚焦數(shù)據(jù)：數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù)，因此需要加強元數(shù)據(jù)管理，補齊數(shù)據(jù)的相關(guān)屬性和信息，比如：元數(shù)據(jù)、質(zhì)量、安全、業(yè)務(wù)邏輯、血緣等；應(yīng)通過元數(shù)據(jù)驅(qū)動的方式管理數(shù)據(jù)生產(chǎn)。

5）數(shù)據(jù)治理需要建管一體化：數(shù)據(jù)中臺的數(shù)據(jù)模型血緣與任務(wù)調(diào)度的一致性是建管一體化的關(guān)鍵，有助于解決數(shù)據(jù)管理與數(shù)據(jù)生產(chǎn)口徑不一致的問題，避免出現(xiàn)兩張皮的低效管理模式。

數(shù)據(jù)治理如何落地？?

數(shù)據(jù)治理在系統(tǒng)層面包括數(shù)據(jù)標準、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、生命周期管理、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)共六大核心模塊。在管理層面需要通過數(shù)據(jù)治理組織、數(shù)據(jù)治理流程進行支撐保障。數(shù)據(jù)治理是一項長期且復(fù)雜的體系化工程，它需要通過一系列流程規(guī)范、制度、IT能力以及持續(xù)運營等機制來保障治理工作的持續(xù)推進。數(shù)據(jù)治理的落地建議分為4個階段：

1）建組織：需要打破企業(yè)內(nèi)部壁壘，構(gòu)建多部門共同參與的數(shù)據(jù)治理組織，提升數(shù)據(jù)治理重要性。成立數(shù)據(jù)治理專項團隊，包括數(shù)據(jù)治理委員會、數(shù)據(jù)治理團隊、各業(yè)務(wù)部門等層層遞進的組織架構(gòu)。在績效、團隊、資源等方面支持數(shù)據(jù)治理的持續(xù)運營，達成企業(yè)數(shù)據(jù)中臺的數(shù)據(jù)戰(zhàn)略體系轉(zhuǎn)型。

有效的組織機構(gòu)是項目成功的有力保證，為了達到項目預(yù)期目標，在項目開始之前對于組織機構(gòu)及其責任分工做出規(guī)劃是非常必要的，數(shù)據(jù)治理項目管理組織建議采用如下圖所示的組織結(jié)構(gòu)：

（一）組織層次

數(shù)據(jù)治理委員會由校領(lǐng)導(dǎo)和部門負責人組成。委員會定義數(shù)據(jù)治理愿景和目標；組織內(nèi)跨業(yè)務(wù)部門和 IT部門進行協(xié)調(diào)；設(shè)置數(shù)據(jù)治理計劃的總體方向；在發(fā)生策略分歧時進行協(xié)調(diào)。

數(shù)據(jù)治理工作組是組織內(nèi)委員會下面的下一個級別。工作組執(zhí)行數(shù)據(jù)治理計劃。工作組負責監(jiān)督數(shù)據(jù)管理員工作。數(shù)據(jù)治理工作組由數(shù)據(jù)治理委員會中各相關(guān)部門負責人主持。

每個業(yè)務(wù)部門有至少一位業(yè)務(wù)分析員，信息部門設(shè)置數(shù)據(jù)質(zhì)量分析員、數(shù)據(jù)管理員、集成開發(fā)人員。各工作人員負責本部門數(shù)據(jù)的質(zhì)量，履行職責，解決具體的問題。

（二）組織職責

根據(jù)數(shù)據(jù)管理工作的實際需要，在業(yè)務(wù)管理部門、技術(shù)管理部門和業(yè)務(wù)應(yīng)用部門確定各工作人員的職責。

數(shù)據(jù)治理委員會的職責范圍：

1．從戰(zhàn)略角度來統(tǒng)籌和規(guī)劃，對數(shù)據(jù)資產(chǎn)和系統(tǒng)進行清理，確定數(shù)據(jù)治理的范圍；明確數(shù)據(jù)源的出處、使用和管理的流程及職責；

2．明確數(shù)據(jù)治理的組織、功能、角色和職責；　　3．負責各工作組成員的培訓工作；　　4．負責審查各工作小組的目標、原則，批準數(shù)據(jù)管理的相關(guān)制度、標準及流程；　　5．負責確定數(shù)據(jù)治理的工具、技術(shù)和平臺；　　6．負責制定數(shù)據(jù)治理的評估指標、方法。

數(shù)據(jù)治理工作小組，其主要工作職責是：

１．負責數(shù)據(jù)治理的牽頭，組織、指導(dǎo)和協(xié)調(diào)學校的數(shù)據(jù)治理工作；

２．綜合數(shù)據(jù)治理管控辦法、數(shù)據(jù)治理考核機制等有關(guān)規(guī)章制度的牽頭制定、修改等；３．負責數(shù)據(jù)的分析整理并出具數(shù)據(jù)指標報告；４．負責數(shù)據(jù)的監(jiān)測預(yù)測工作；５．建立數(shù)據(jù)沖突的處理流程和數(shù)據(jù)變更控制流程。６．負責對基礎(chǔ)數(shù)據(jù)質(zhì)量的檢測、發(fā)布、考核和清理完善工作。

工作組成員：業(yè)務(wù)分析員、數(shù)據(jù)質(zhì)量分析員、數(shù)據(jù)管理員、集成開發(fā)人員。這些不同的角色在數(shù)據(jù)治理過程中承擔著彼此不同，而又相輔相成的職責。

其中集成開發(fā)人員在數(shù)據(jù)治理流程中需要擔負起數(shù)據(jù)訪問、驗證數(shù)據(jù)結(jié)構(gòu)、驗證數(shù)據(jù)、交付數(shù)據(jù)以及數(shù)據(jù)庫/知識庫的構(gòu)建等角色，因此他們的工作包括：

訪問及交付相應(yīng)數(shù)據(jù)給業(yè)務(wù)用戶 提高數(shù)據(jù)處理的性能 最大化減少異常/出錯的影響 開發(fā)和完善技術(shù)最佳實踐

數(shù)據(jù)質(zhì)量分析員在數(shù)據(jù)治理流程中負責數(shù)據(jù)的剖析、清洗匹配合并等。工作包括：

為開發(fā)人員定義數(shù)據(jù)規(guī)格及標準 為機構(gòu)有效的追蹤數(shù)據(jù)質(zhì)量問題 實施被業(yè)務(wù)人員和數(shù)據(jù)管理員定義正確的數(shù)據(jù)質(zhì)量規(guī)則 不間斷的監(jiān)控數(shù)據(jù)質(zhì)量水平及問題

業(yè)務(wù)分析人員在數(shù)據(jù)治理流程中負責定義數(shù)據(jù)的轉(zhuǎn)換規(guī)則，工作包括：

與需求開發(fā)人員協(xié)作，正確捕獲和解析業(yè)務(wù)需求 與開發(fā)人員和數(shù)據(jù)管理員協(xié)作，為業(yè)務(wù)用戶縮短數(shù)據(jù)產(chǎn)生價值的時間

數(shù)據(jù)管理員需要定義引用數(shù)據(jù)，并管理元數(shù)據(jù)，工作包括：

保證數(shù)據(jù)的質(zhì)量、正確、完整、一致、審計及安全性 定義“引用/參考”數(shù)據(jù) 為組織機構(gòu)數(shù)據(jù)實體給出正確業(yè)務(wù)定義 為組織機構(gòu)解決混淆和有爭論的數(shù)據(jù)定義 2）立規(guī)范：建立切實可行的標準化流程規(guī)范，并隨著數(shù)據(jù)中臺的不斷運營而持續(xù)完善，分步實施逐步迭代。規(guī)范包括發(fā)布數(shù)據(jù)治理管理規(guī)范、數(shù)據(jù)治理流程規(guī)范、建立數(shù)據(jù)治理標準化閉環(huán)流程、明確線上管理要求，并通過運營閉環(huán)化、流程線上化、服務(wù)集中化形成常態(tài)化機制推進數(shù)據(jù)治理工作。在文章?6000字詳解數(shù)據(jù)治理之數(shù)據(jù)標準管理?中談到，首先要了解企業(yè)為何要去制定標準規(guī)范？企業(yè)的需求是什么？現(xiàn)狀是什么？外部環(huán)境的要求是什么？建標準的時候，有沒有相關(guān)的一些參考？有沒有相關(guān)的國家標準？行業(yè)標準的一些參考？如果沒有的話，行業(yè)有沒有最佳實踐可以拿過來參考。要結(jié)合以上的些需求去規(guī)劃數(shù)據(jù)標準的體系，先要把范圍先確定出來。

數(shù)據(jù)標準規(guī)范制定過程中一般有以下的業(yè)務(wù)步驟： 第一資料收集。做it的人員都很清楚要收集現(xiàn)有的一些材料，包括數(shù)據(jù)的質(zhì)量情況、數(shù)據(jù)的管理情況、數(shù)據(jù)的標準化情況等等。 第二個調(diào)研訪談。要解決做項目或者數(shù)據(jù)，你是要解決樣的業(yè)務(wù)問題？ 第三個分析評估。對整體的情況做分析評估，評估和最佳實踐或者最理想情況的標準的差距是多少？ 第四個標準制定。根據(jù)上述的些條件來定義數(shù)據(jù)，制定標準。 第五個意見征集。標準定義完之后，形成的標準文件還需要下發(fā)到各個業(yè)務(wù)單位去收集意見，再根據(jù)意見的反饋情況，修訂標準。 第六步標準發(fā)布。 數(shù)據(jù)治理規(guī)范詳見：國家標準：數(shù)據(jù)治理規(guī)范（附下載）3）選平臺：搭建有效的IT平臺支撐數(shù)據(jù)治理的規(guī)范、流程、標準落地，同時確保前向的數(shù)據(jù)治理模式。數(shù)據(jù)治理本質(zhì)是一項管理工作，只有生產(chǎn)過程可視化、生產(chǎn)過程可干預(yù)，才能保證數(shù)據(jù)治理的效果，因此平臺應(yīng)確保數(shù)據(jù)治理和數(shù)據(jù)生產(chǎn)的一體化。平臺應(yīng)具備多廠家協(xié)同開發(fā)能力、數(shù)據(jù)標準化管理能力、基于元模型驅(qū)動的元數(shù)據(jù)開發(fā)管理能力、元數(shù)據(jù)血緣管理能力、基于血緣驅(qū)動的任務(wù)調(diào)度管理能力、安全分層分級管理能力以及數(shù)據(jù)質(zhì)量管理能力等等基礎(chǔ)能力才能更好的保障數(shù)據(jù)治理的落地。在文章?一文讀懂數(shù)據(jù)治理工具：戰(zhàn)略層工具+管理層工具+操作層工具?中對各種數(shù)據(jù)治理平臺技術(shù)架構(gòu)和功能模塊做了詳細介紹，比如：元數(shù)據(jù)管理工具：

主數(shù)據(jù)管理工具：

數(shù)據(jù)質(zhì)量管理工具：

數(shù)據(jù)安全管理工具：

數(shù)據(jù)資產(chǎn)管理工具：

4）重運營：數(shù)據(jù)治理是一個持續(xù)并且長久的運營過程，規(guī)范、組織、平臺的以及流程需要不斷的進行迭代優(yōu)化，數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全需要持續(xù)管控，通過業(yè)務(wù)的不斷滋養(yǎng)逐步完善數(shù)據(jù)中臺的數(shù)據(jù)治理能力。

結(jié)束語

數(shù)據(jù)治理是一項戰(zhàn)略性、長期性、艱巨性、系統(tǒng)性、持續(xù)進行的企業(yè)內(nèi)部數(shù)據(jù)優(yōu)化治理工作，因此，數(shù)據(jù)治理必然是一個漫長而持續(xù)的過程，沒有一針頂破天的訣竅，也沒有立竿見影的途徑，唯有企業(yè)持續(xù)不斷、持之以恒、不忘初心、不懈努力，才能達到預(yù)期目標。（部分文字來源信風智庫）