大家好，下面給大家分享數(shù)據(jù)治理工具的產(chǎn)品實(shí)踐。整個(gè)分享我將從下面這四個(gè)方面進(jìn)行介紹，分別是網(wǎng)易內(nèi)部業(yè)務(wù)線過往的數(shù)據(jù)治理回顧，當(dāng)前面臨的數(shù)據(jù)治理痛點(diǎn)，針對(duì)痛點(diǎn)，數(shù)據(jù)治理平臺(tái)整體的產(chǎn)品策略以及未來的規(guī)劃。

過往數(shù)據(jù)治理回顧

首先，對(duì)于內(nèi)部業(yè)務(wù)線，包括嚴(yán)選、傳媒和音樂，都做過數(shù)據(jù)治理專項(xiàng)活動(dòng)，也取得了初步的成效。

對(duì)于進(jìn)行數(shù)據(jù)治理專項(xiàng)活動(dòng)的背景，一方面隨著業(yè)務(wù)的發(fā)展，內(nèi)部業(yè)務(wù)線的計(jì)算和存儲(chǔ)達(dá)到瓶頸，但業(yè)務(wù)方很難判斷，是應(yīng)該繼續(xù)擴(kuò)容增加資源，還是對(duì)劣質(zhì)數(shù)據(jù)進(jìn)行治理來降低資源危機(jī)，但這個(gè)過程中，如何定義劣質(zhì)數(shù)據(jù)，定義了劣質(zhì)資源后，要怎么對(duì)其進(jìn)行治理，都是亟待確定和解決的問題；另一方面，數(shù)據(jù)本身的加工鏈路長，數(shù)據(jù)的加工處理沒有統(tǒng)一的標(biāo)準(zhǔn)，整個(gè)團(tuán)隊(duì)內(nèi)到底有哪些數(shù)據(jù)，數(shù)據(jù)的負(fù)責(zé)人是誰，這些數(shù)據(jù)是通過哪些任務(wù)產(chǎn)出的，這些數(shù)據(jù)有沒有被有效的使用，數(shù)據(jù)的存在是否有意義，這些都是管理者比較關(guān)心的問題，但數(shù)據(jù)團(tuán)隊(duì)都很難回答。

對(duì)于各個(gè)業(yè)務(wù)線面臨的共同問題，在專項(xiàng)治理活動(dòng)中，我們給出了針對(duì)性的策略。首先將表和任務(wù)具體化到責(zé)任人，由責(zé)任人進(jìn)行資產(chǎn)梳理，對(duì)于沒有人認(rèn)領(lǐng)的資產(chǎn)，比如沒有負(fù)責(zé)人、負(fù)責(zé)人離職或者負(fù)責(zé)人為項(xiàng)目等情況，那么就由各個(gè)業(yè)務(wù)線指定專門的治理負(fù)責(zé)人進(jìn)行專項(xiàng)治理；然后對(duì)于存儲(chǔ)資源，首先對(duì)無用數(shù)據(jù)進(jìn)行規(guī)則定義，明確到底達(dá)到什么指標(biāo)可以作為無用數(shù)據(jù)，比如近90天訪問次數(shù)均為0等，確定好無用數(shù)據(jù)的規(guī)則后，將項(xiàng)目內(nèi)無用數(shù)據(jù)掃描出來，業(yè)務(wù)方對(duì)無用數(shù)據(jù)進(jìn)行二次確認(rèn)，產(chǎn)品上提供操作入口快速下線，同時(shí)提供下線列表或累計(jì)下線數(shù)據(jù)等，進(jìn)行閉環(huán)分析；對(duì)于計(jì)算資源，會(huì)對(duì)離線任務(wù)、自助查詢?nèi)蝿?wù)消耗的成本進(jìn)行分析，包括任務(wù)的執(zhí)行時(shí)長、預(yù)估消耗的費(fèi)用、消耗的CU等內(nèi)容，便于業(yè)務(wù)進(jìn)行優(yōu)化，也給任務(wù)的下線治理提供依據(jù)，成本分析會(huì)默認(rèn)保留近半年的數(shù)據(jù)，在對(duì)任務(wù)進(jìn)行優(yōu)化后，也可以進(jìn)行對(duì)比分析；最后，對(duì)于存儲(chǔ)和計(jì)算優(yōu)化后，治理效果要可量化和評(píng)估，比如確認(rèn)下線的存儲(chǔ)有多少，對(duì)任務(wù)優(yōu)化后節(jié)約的資源有多少，便于管理者和治理負(fù)責(zé)人對(duì)治理成果進(jìn)行評(píng)估。

對(duì)于治理效率量化可評(píng)估這一策略，我們內(nèi)部有一套自己的成本度量體系。基于底層的表信息、計(jì)算任務(wù)信息和任務(wù)/表之間的血緣信息，匯總為計(jì)算、存儲(chǔ)的元數(shù)據(jù)倉庫，結(jié)合網(wǎng)易內(nèi)部自己的賬單體系，體系中對(duì)計(jì)算和存儲(chǔ)均進(jìn)行了定價(jià)，從而將調(diào)度任務(wù)、自助查詢每次執(zhí)行消耗的計(jì)算成本預(yù)估出來，對(duì)于存儲(chǔ)成本，一方面包含數(shù)據(jù)表本身的存儲(chǔ)成本，另一方面產(chǎn)出該表的計(jì)算任務(wù)也會(huì)分?jǐn)傇摂?shù)據(jù)表的成本，最終得到數(shù)據(jù)表總的存儲(chǔ)成本。將計(jì)算和存儲(chǔ)成本轉(zhuǎn)化為費(fèi)用，更加一目了然的對(duì)治理效果進(jìn)行量化評(píng)估。

上述專項(xiàng)治理中提到的策略，在數(shù)據(jù)治理工具平臺(tái)均進(jìn)行了產(chǎn)品功能的落地，通過平臺(tái)化的功能，進(jìn)一步提高治理效率。對(duì)任務(wù)/表具體化到責(zé)任人策略，平臺(tái)提供項(xiàng)目內(nèi)所有表的列表，支持查詢、轉(zhuǎn)交責(zé)任人等功能；對(duì)于無用數(shù)據(jù)下線功能，平臺(tái)基于對(duì)無用數(shù)據(jù)的規(guī)則定義進(jìn)行掃描，提供對(duì)無用數(shù)據(jù)下線的入口，確認(rèn)下線后，默認(rèn)會(huì)將數(shù)據(jù)表移到灰度空間保存一定時(shí)間，到期之后，平臺(tái)才真正對(duì)數(shù)據(jù)進(jìn)行刪除；對(duì)于數(shù)據(jù)表的生命周期管理，提供功能入口，針對(duì)內(nèi)外部表均可設(shè)置，并且對(duì)于外部表，支持可選是否刪除目錄文件；對(duì)于計(jì)算任務(wù)的成本分析，對(duì)項(xiàng)目內(nèi)所有調(diào)度和Query任務(wù)進(jìn)行掃描，分析任務(wù)成本，默認(rèn)保留近半年的成本記錄，便于對(duì)任務(wù)優(yōu)化前后進(jìn)行對(duì)比分析。

在治理效果衡量體系中，提供待治理和已治理的負(fù)責(zé)人紅黑榜單，便于管理員和個(gè)人進(jìn)行查看，對(duì)于產(chǎn)生的費(fèi)用和下線的存儲(chǔ)等內(nèi)容，從項(xiàng)目和個(gè)人角度，提供資產(chǎn)大盤，更加清晰的了解治理的效果。

同時(shí)，為了更好地觸達(dá)負(fù)責(zé)人進(jìn)行數(shù)據(jù)治理，建立了郵件和內(nèi)部工具的通知機(jī)制，通知內(nèi)容分為了兩個(gè)視角，一方面是治理負(fù)責(zé)人，可以了解當(dāng)前自己還有哪些數(shù)據(jù)需要進(jìn)行治理，治理后可以給項(xiàng)目節(jié)省多少年費(fèi)用；另一方面是項(xiàng)目的管理員/負(fù)責(zé)人，可以知道當(dāng)前項(xiàng)目下一共還有多少數(shù)據(jù)需要治理，治理后總共可以節(jié)省多少年費(fèi)用，也可以知道整個(gè)項(xiàng)目中治理做的好的負(fù)責(zé)人Top5，以及還有哪些人占據(jù)的成本最多，可以以此為依據(jù)，催促負(fù)責(zé)人進(jìn)行治理工作。

在專項(xiàng)治理活動(dòng)中，通過上述的多種策略，初步取得了治理成效。2020年，為云音樂和嚴(yán)選分別優(yōu)化了47.6%和61%的表，也為傳媒業(yè)務(wù)線節(jié)省了約38%的計(jì)算資源，數(shù)據(jù)治理各個(gè)業(yè)務(wù)線的專項(xiàng)活動(dòng)策略得到了業(yè)務(wù)方的肯定。

當(dāng)前的數(shù)據(jù)治理痛點(diǎn)

第一章主要講解了內(nèi)部業(yè)務(wù)線數(shù)據(jù)治理專項(xiàng)活動(dòng)采取的策略以及初步取得的成效，接下來重點(diǎn)闡述當(dāng)前數(shù)據(jù)治理仍然面臨的痛點(diǎn)和那些怎么也填不完的數(shù)據(jù)"坑"。

當(dāng)前的業(yè)務(wù)數(shù)據(jù)治理，主要面臨這樣幾個(gè)關(guān)鍵的痛點(diǎn)：首先業(yè)務(wù)數(shù)據(jù)本身沒有規(guī)范化創(chuàng)建和管理，比如外部表定義目錄不規(guī)范，有些分區(qū)目錄location的是表的目錄，在對(duì)表生命周期進(jìn)行管理時(shí)，若選擇刪除目錄，那么文件就會(huì)有被誤刪的風(fēng)險(xiǎn)；數(shù)據(jù)開發(fā)團(tuán)隊(duì)人員更換頻繁，面對(duì)眾多的業(yè)務(wù)需求，疲態(tài)應(yīng)對(duì)，處于只開發(fā)不治理的循環(huán)中，數(shù)據(jù)治理的動(dòng)力不足，項(xiàng)目內(nèi)遺留大量的歷史數(shù)據(jù)；還有就是當(dāng)計(jì)算和存儲(chǔ)等資源達(dá)到瓶頸后，被領(lǐng)導(dǎo)催著進(jìn)行治理，缺乏長效的數(shù)據(jù)治理機(jī)制，導(dǎo)致階段性治理和資源告急循環(huán)往復(fù)；然后是治理的效果量化指標(biāo)粗糙，哪些負(fù)責(zé)人下線了哪些數(shù)據(jù)，為項(xiàng)目節(jié)省了多少存儲(chǔ)，具體節(jié)省了多少費(fèi)用，沒有有效的可評(píng)估的數(shù)據(jù)，這也衍生了治理者的消極心態(tài)。

雖然在上一章也有講到，數(shù)據(jù)治理專項(xiàng)活動(dòng)取得了初步的成效，但依然還存有很多成本問題需要持續(xù)進(jìn)行治理，包括嚴(yán)選、傳媒和云音樂都各自有一定比重的表處于待下線狀態(tài)，占據(jù)了相當(dāng)一部分的存儲(chǔ)空間。

數(shù)據(jù)治理這條道路，真的可以用前路漫漫，道阻且長來形容了。針對(duì)成本，包括計(jì)算和存儲(chǔ)成本，數(shù)據(jù)量持續(xù)在增加，源源不斷的帶來存儲(chǔ)成本，隊(duì)列的資源也持續(xù)緊張，任務(wù)優(yōu)化也亟待解決；對(duì)于質(zhì)量，數(shù)據(jù)的加工鏈路長，任何一個(gè)環(huán)節(jié)都可能帶來質(zhì)量問題；對(duì)于規(guī)范，基于ODS、DWD層直接制作的報(bào)表數(shù)量居高不下，模型的復(fù)用率低；對(duì)于安全，項(xiàng)目內(nèi)的管理員數(shù)量眾多，太多人有比較高的權(quán)限，權(quán)限太大應(yīng)該要怎么控制，以及離職等人員閑置下來的權(quán)限應(yīng)該怎么收回；對(duì)于價(jià)值，API、BI等這些下游應(yīng)用系統(tǒng)，引用表和計(jì)算成本要如何進(jìn)行估量，怎么根據(jù)下游應(yīng)用來量化數(shù)據(jù)價(jià)值。這些都是在數(shù)據(jù)治理過程中需要持續(xù)關(guān)注和解決的問題。

產(chǎn)品整體策略

第二章講到了當(dāng)前面臨的數(shù)據(jù)治理痛點(diǎn)，以及從成本、質(zhì)量、規(guī)范、安全和價(jià)值各個(gè)方面都有亟待解決的問題。本章將針對(duì)上述面臨的問題，提出治理方案，并將數(shù)據(jù)治理過程進(jìn)行體系化建設(shè)，整體形成閉環(huán)。

數(shù)據(jù)治理本就是一個(gè)階段化的工作，做不到一口能吃個(gè)"胖子"，達(dá)不到一開始就能把治理工作做到極致，數(shù)據(jù)治理整體可以分為這樣三個(gè)階段：治理的范圍、治理的價(jià)值和體系化的治理。首先要讓決策者能夠看見和關(guān)注，對(duì)數(shù)據(jù)治理的范圍進(jìn)行系統(tǒng)性的梳理，明確需要進(jìn)行數(shù)據(jù)治理的范圍；其次需要有一套抓手，能夠讓真正做治理工作的負(fù)責(zé)人看到問題，并且有可量化的體系，對(duì)治理成效可評(píng)估；最后將治理過程中的策略能夠落地到產(chǎn)品功能上，通過短期業(yè)務(wù)線的宣傳運(yùn)營和長期的閉環(huán)機(jī)制，整體達(dá)到體系化的治理。

下面針對(duì)上述提到的階梯化治理的各個(gè)過程進(jìn)行詳細(xì)的介紹。初階段是明確治理范圍，整個(gè)是圍繞數(shù)據(jù)的全生命周期展開的，在數(shù)據(jù)生產(chǎn)階段，需要對(duì)需求進(jìn)行分析，明確業(yè)務(wù)口徑，對(duì)數(shù)據(jù)進(jìn)行規(guī)范采集、任務(wù)開發(fā)和監(jiān)控運(yùn)維；在數(shù)據(jù)消費(fèi)階段，涉及到快速的查找數(shù)據(jù)，對(duì)數(shù)據(jù)的分析和對(duì)數(shù)據(jù)質(zhì)量的探查；在數(shù)據(jù)管理過程中，包含權(quán)限和成本管理等。整個(gè)流程涉及到成本、標(biāo)準(zhǔn)、質(zhì)量、安全和價(jià)值，各個(gè)階段都會(huì)面臨對(duì)數(shù)據(jù)的治理工作。

明確了數(shù)據(jù)治理范圍后，然后是對(duì)于數(shù)據(jù)治理價(jià)值的量化。基于數(shù)據(jù)的全生命周期，包含了成本、質(zhì)量、安全、標(biāo)準(zhǔn)和價(jià)值五個(gè)方面，針對(duì)每個(gè)方面，都要有可量化的指標(biāo)項(xiàng)，對(duì)于成本，包括計(jì)算和存儲(chǔ)成本的費(fèi)用量化，對(duì)無用數(shù)據(jù)的下線治理等；對(duì)于價(jià)值，需要能夠評(píng)估每個(gè)數(shù)據(jù)模型、數(shù)據(jù)報(bào)告和API的價(jià)值；對(duì)于質(zhì)量，會(huì)包含監(jiān)控任務(wù)覆蓋了多少稽核規(guī)則，涵蓋了多少強(qiáng)弱規(guī)則；對(duì)于標(biāo)準(zhǔn)，需要對(duì)指標(biāo)和模型進(jìn)行規(guī)范化定義；對(duì)于安全，會(huì)包含數(shù)據(jù)安全登記和數(shù)據(jù)權(quán)限的治理等工作。

數(shù)據(jù)治理不是一個(gè)臨時(shí)性要做的工作，從數(shù)據(jù)生命周期的全過程到治理體系的健康運(yùn)行，需要一個(gè)長效的治理機(jī)制來保證，最后就是體系化的數(shù)據(jù)治理。最開始是發(fā)現(xiàn)問題，包含成本、標(biāo)準(zhǔn)、質(zhì)量、安全和價(jià)值五個(gè)方面，明確需要進(jìn)行治理的內(nèi)容；然后基于需要治理的內(nèi)容配套專題的治理工具，比如對(duì)無用數(shù)據(jù)的推薦下線，對(duì)表生命周期的管理，對(duì)計(jì)算任務(wù)的優(yōu)化等；最后在治理工作過程中，持續(xù)有治理抓手，包括推送整個(gè)項(xiàng)目、個(gè)人的資產(chǎn)賬單，數(shù)據(jù)治理的紅黑榜，并將資產(chǎn)健康分和個(gè)人的任務(wù)優(yōu)先級(jí)或資源申請(qǐng)等掛鉤，然后內(nèi)部也舉辦了數(shù)據(jù)治理大賽、業(yè)務(wù)線專項(xiàng)治理活動(dòng)等來持續(xù)運(yùn)營產(chǎn)品功能。整體通過發(fā)現(xiàn)問題-->解決手段-->持續(xù)運(yùn)營和持續(xù)沉淀形成資產(chǎn)治理的閉環(huán)。

未來規(guī)劃

第三章主要基于之前提到的數(shù)據(jù)治理痛點(diǎn)，給出了治理的整體策略方案，下面講一下數(shù)據(jù)治理工具的未來規(guī)劃。

關(guān)于資產(chǎn)治理產(chǎn)品的架構(gòu)，繪制了一個(gè)房子圖，如圖所示，數(shù)據(jù)資產(chǎn)治理平臺(tái)的使命是降本提效、省錢省力，愿景是能夠打造成一款全流程、自動(dòng)化、可落地、高質(zhì)量的大數(shù)據(jù)評(píng)估和優(yōu)化工具，成為數(shù)據(jù)治理的利刃。在這個(gè)過程中，以資產(chǎn)健康分為主要抓手，涵蓋成本、質(zhì)量、安全、標(biāo)準(zhǔn)和價(jià)值，各個(gè)模塊均包含需要治理的內(nèi)容，并且針對(duì)資產(chǎn)健康分的不同等級(jí)，也會(huì)和任務(wù)的優(yōu)先級(jí)、申請(qǐng)資源等權(quán)限掛鉤。同時(shí)配合通知機(jī)制，從管理員和用戶個(gè)人不同角度，對(duì)資產(chǎn)治理工作進(jìn)行觸達(dá)，調(diào)動(dòng)治理的積極性，提供便捷的治理入口，形成體系化的治理體系。