大數(shù)據(jù)治理定義：大數(shù)據(jù)治是廣義信息化治理計(jì)劃的一部分，即制定與大數(shù)據(jù)有關(guān)的管理優(yōu)化、數(shù)據(jù)保護(hù)、數(shù)據(jù)變現(xiàn)的政策。

它的發(fā)起背景多數(shù)是由于公司戰(zhàn)略政策和業(yè)務(wù)日益變大的數(shù)據(jù)需求和要求所產(chǎn)生的。
說了數(shù)據(jù)治理產(chǎn)生的背景，我再來談下數(shù)據(jù)治理的對(duì)象。它包括數(shù)據(jù)、開發(fā)流程、管理流程、制度、組織。我認(rèn)為只要和目標(biāo)相關(guān)聯(lián)的，都可以算作治理的對(duì)象，數(shù)據(jù)治理就是將關(guān)聯(lián)方通過一套完整的管理行為，形成有序的工作以達(dá)成目標(biāo)。

數(shù)據(jù)治理項(xiàng)目的范圍
元數(shù)據(jù)從數(shù)據(jù)的角度可以分為三類：業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。

業(yè)務(wù)元數(shù)據(jù): 是從業(yè)務(wù)的視角去描述數(shù)據(jù)，讓不懂?dāng)?shù)據(jù)的人可以快速讀懂?dāng)?shù)據(jù)，例如：表名稱、表的血緣關(guān)系、表的字段說明、指標(biāo)的統(tǒng)計(jì)口徑等多種業(yè)務(wù)描述；
技術(shù)元數(shù)據(jù): 自然就是從技術(shù)的角度去描述數(shù)據(jù)，例如：表的sql、字段長(zhǎng)度、字段類型等多種技術(shù)描述；
管理元數(shù)據(jù): 是包含數(shù)據(jù)管理的信息在里面，例如：表的業(yè)務(wù)屬主、表的技術(shù)負(fù)責(zé)人。
元數(shù)據(jù)的管理通常包含：血緣分析、數(shù)據(jù)生命周期。

血緣分析：對(duì)元數(shù)據(jù)的上下游進(jìn)行分析，按照數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)將血緣分析分為了兩類：

存在Hadoop平臺(tái)的血緣分析，可用通過腳本解析出到字段級(jí)的上下游關(guān)系；
建表有主外鍵的，可通過主外鍵建立血緣關(guān)系。
數(shù)據(jù)生命周期：數(shù)據(jù)都存在生命周期，當(dāng)元數(shù)據(jù)訪問量變低，數(shù)據(jù)價(jià)值不存在的時(shí)候，可將它下線清除，釋放存儲(chǔ)空間。

數(shù)據(jù)安全
數(shù)據(jù)安全主要是對(duì)數(shù)據(jù)的安全脫敏管控和安全檢查，脫敏機(jī)制有兩種方案：

1）在數(shù)據(jù)倉(cāng)庫(kù)的接入和輸出進(jìn)行脫敏管控：數(shù)據(jù)接入識(shí)別敏感信息，通過脫敏工具進(jìn)行脫敏處理，產(chǎn)生脫敏表和敏感表兩張表（脫敏表與敏感表之間要有映射關(guān)系），敏感數(shù)據(jù)不對(duì)中間層開放，對(duì)于數(shù)倉(cāng)中間層則只有脫敏表，開發(fā)和測(cè)試的時(shí)候也只能使用脫敏表，在數(shù)據(jù)輸出層，首先應(yīng)用層的開發(fā)先對(duì)敏感數(shù)據(jù)進(jìn)行申請(qǐng)，申請(qǐng)通過后得到敏感表的使用權(quán)，開發(fā)通過映射關(guān)系將敏感表的脫敏數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理。

這種方案的好處：安全易管控，脫敏過程少，但會(huì)增加開發(fā)的工作量。

2）針對(duì)用戶進(jìn)行脫敏管理，數(shù)據(jù)倉(cāng)庫(kù)的每一層都需要對(duì)敏感數(shù)據(jù)進(jìn)行脫敏處理，對(duì)于敏感數(shù)據(jù)申請(qǐng)權(quán)限的用戶可以查看敏感信息，沒有權(quán)限的用戶只能查看脫敏表。這種脫敏機(jī)制好處在于對(duì)開發(fā)沒什么影響，但加大安全管理的復(fù)雜度，需要全域掃描敏感信息，脫敏工作大。

數(shù)據(jù)質(zhì)量
數(shù)據(jù)安全主要是對(duì)數(shù)據(jù)的安全脫敏管控和安全檢查，脫敏機(jī)制有兩種方案：

1）在數(shù)據(jù)倉(cāng)庫(kù)的接入和輸出進(jìn)行脫敏管控：數(shù)據(jù)接入識(shí)別敏感信息，通過脫敏工具進(jìn)行脫敏處理，產(chǎn)生脫敏表和敏感表兩張表（脫敏表與敏感表之間要有映射關(guān)系），敏感數(shù)據(jù)不對(duì)中間層開放，對(duì)于數(shù)倉(cāng)中間層則只有脫敏表，開發(fā)和測(cè)試的時(shí)候也只能使用脫敏表，在數(shù)據(jù)輸出層，首先應(yīng)用層的開發(fā)先對(duì)敏感數(shù)據(jù)進(jìn)行申請(qǐng)，申請(qǐng)通過后得到敏感表的使用權(quán)，開發(fā)通過映射關(guān)系將敏感表的脫敏數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理。

這種方案的好處：安全易管控，脫敏過程少，但會(huì)增加開發(fā)的工作量。

2）針對(duì)用戶進(jìn)行脫敏管理，數(shù)據(jù)倉(cāng)庫(kù)的每一層都需要對(duì)敏感數(shù)據(jù)進(jìn)行脫敏處理，對(duì)于敏感數(shù)據(jù)申請(qǐng)權(quán)限的用戶可以查看敏感信息，沒有權(quán)限的用戶只能查看脫敏表。這種脫敏機(jī)制好處在于對(duì)開發(fā)沒什么影響，但加大安全管理的復(fù)雜度，需要全域掃描敏感信息，脫敏工作大。

數(shù)據(jù)價(jià)值
數(shù)據(jù)治理最重要的產(chǎn)出物，通過數(shù)據(jù)治理能為業(yè)務(wù)帶來的業(yè)務(wù)價(jià)值。如我所在的公司，數(shù)據(jù)價(jià)值體現(xiàn)在數(shù)據(jù)資產(chǎn)可視化。對(duì)于不同看數(shù)據(jù)角色定義不同的價(jià)值，對(duì)于數(shù)據(jù)業(yè)務(wù)分析人員，通過數(shù)據(jù)標(biāo)準(zhǔn)化管理和平臺(tái)搭建，讓不懂?dāng)?shù)據(jù)的業(yè)務(wù)能夠快速掌握數(shù)據(jù)，并可以自己進(jìn)行數(shù)據(jù)挖掘、數(shù)據(jù)分析等工作。

對(duì)于高層領(lǐng)導(dǎo)，將公司的業(yè)務(wù)數(shù)據(jù)以報(bào)告的形式，讓領(lǐng)導(dǎo)快速了解數(shù)據(jù)的成本及分布情況。當(dāng)然不同的公司側(cè)重的價(jià)值會(huì)不一樣，數(shù)據(jù)治理同時(shí)也能有效的控制數(shù)據(jù)成本，減少因?yàn)閿?shù)據(jù)帶來的摩擦，提升數(shù)據(jù)質(zhì)量和安全。

數(shù)據(jù)開發(fā)
對(duì)數(shù)據(jù)開發(fā)進(jìn)行標(biāo)準(zhǔn)的流程管理是數(shù)據(jù)治理核心的一部分，首先根據(jù)公司實(shí)際情況分析、制定可落地的數(shù)據(jù)開發(fā)管理規(guī)范。過于復(fù)雜的數(shù)據(jù)開發(fā)規(guī)范維護(hù)成本高，同時(shí)也加重開發(fā)工作量，導(dǎo)致難以執(zhí)行。過于簡(jiǎn)單的規(guī)范又無法很好的管理開發(fā)流程。最主要的還是定制完規(guī)范后拉各關(guān)聯(lián)方進(jìn)行評(píng)審，大家對(duì)可落地，可管理的角度是評(píng)估規(guī)范。

當(dāng)規(guī)范制定好后，就是按照規(guī)范進(jìn)行落地執(zhí)行。通常數(shù)據(jù)開發(fā)規(guī)范包含：數(shù)據(jù)建模、數(shù)據(jù)設(shè)計(jì)、數(shù)據(jù)項(xiàng)目部署和實(shí)施。

數(shù)據(jù)建模是一種分析和設(shè)計(jì)方法，用于：

定義和分析數(shù)據(jù)需求；
設(shè)計(jì)滿足需求的數(shù)據(jù)結(jié)構(gòu)。
組織建設(shè)
數(shù)據(jù)組織是保障數(shù)據(jù)治理能夠長(zhǎng)期有效的重要手段之一，通常數(shù)據(jù)組織都是可以跨職責(zé)的，組織的職能和分類如下：

1）數(shù)據(jù)治理委員會(huì)，在公司內(nèi)部擁有數(shù)據(jù)的最高決策權(quán)，代表了企業(yè)的高層視角

2）數(shù)據(jù)管理指導(dǎo)委員會(huì)，為數(shù)據(jù)委員會(huì)提供支持，針對(duì)一些具體數(shù)據(jù)管理措施起草相關(guān)政策和標(biāo)準(zhǔn)，提供委員會(huì)評(píng)審和批準(zhǔn)

3）數(shù)據(jù)管理制度團(tuán)隊(duì)，在某個(gè)業(yè)務(wù)領(lǐng)域內(nèi)，協(xié)助完成數(shù)據(jù)制度管理的數(shù)據(jù)管理專員小組，數(shù)據(jù)管理制度團(tuán)隊(duì)來著不同的部門和跨業(yè)務(wù)領(lǐng)域的數(shù)據(jù)專家