一、背景

為什么要做數(shù)據(jù)架構(gòu)治理？數(shù)字轉(zhuǎn)型，治理先行。

數(shù)字化的應(yīng)用是整個(gè)行業(yè)高速發(fā)展的源動(dòng)力之一，快遞行業(yè)日新月異，規(guī)模龐大，數(shù)字化能夠使管理升級(jí)，提高整個(gè)內(nèi)部的運(yùn)營(yíng)效率，降低相關(guān)的運(yùn)營(yíng)成本。在打破數(shù)據(jù)孤島，鏈接用戶跟快遞員、網(wǎng)點(diǎn)、商家等角色的過(guò)程中，數(shù)字化都發(fā)揮著很大的作用。簡(jiǎn)單來(lái)說(shuō)，數(shù)字化就是一道門，你被關(guān)在門外面，那未來(lái)很可能就會(huì)被淘汰。而數(shù)據(jù)架構(gòu)治理，就是為中通數(shù)字化轉(zhuǎn)型打下了基礎(chǔ)。

二、現(xiàn)狀

中通目前有500+的產(chǎn)品，這些持久化在存儲(chǔ)上就是有100W+的數(shù)據(jù)庫(kù)表。并且業(yè)務(wù)量以每年20%-30%的速度高速增長(zhǎng)。各業(yè)務(wù)部門、開(kāi)發(fā)團(tuán)隊(duì)的數(shù)據(jù)標(biāo)準(zhǔn)不一致，在數(shù)據(jù)打通和整合過(guò)程中會(huì)出現(xiàn)很多問(wèn)題。所以就必須建立數(shù)據(jù)標(biāo)準(zhǔn)和推動(dòng)數(shù)據(jù)模型的落地來(lái)對(duì)數(shù)據(jù)未來(lái)狀態(tài)的規(guī)范，包括對(duì)數(shù)據(jù)的名稱、含義、結(jié)構(gòu)、取值及數(shù)據(jù)間關(guān)系的規(guī)范，以此對(duì)數(shù)據(jù)庫(kù)表結(jié)構(gòu)、字段定義進(jìn)行指導(dǎo)約束。

2、數(shù)據(jù)安全

公司目前沒(méi)有平臺(tái)來(lái)做數(shù)據(jù)分類、敏感數(shù)據(jù)的標(biāo)記，數(shù)據(jù)以什么形式對(duì)外提供出去不明確 ，什么數(shù)據(jù)可以對(duì)外暴露不明確 。一旦隱私數(shù)據(jù)泄露，對(duì)業(yè)務(wù)的影響非常大，甚至能影響整個(gè)業(yè)務(wù)的生死。同時(shí)對(duì)數(shù)據(jù)文件、圖片、文件、音視頻等類型數(shù)據(jù)的定期的備份恢復(fù)策略也沒(méi)有制定，一旦誤刪除可能會(huì)導(dǎo)致數(shù)據(jù)的永久丟失。

3、數(shù)據(jù)模型

由于前期的快速發(fā)展，難免會(huì)遺留一下歷史的原因，比如數(shù)據(jù)的上下游依賴公司就很難去識(shí)別到，隨著業(yè)務(wù)的變動(dòng)很容易出現(xiàn)上游發(fā)生變更，但下游卻不知道的問(wèn)題。開(kāi)發(fā)的數(shù)據(jù)對(duì)象，都是通過(guò)口口相傳。模型梳理難以完成，導(dǎo)致在數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)管理過(guò)程中都會(huì)遇到一些效率低的問(wèn)題，開(kāi)發(fā)不清楚數(shù)據(jù)的上下游是如何使用的。

4、數(shù)據(jù)質(zhì)量

缺乏跨團(tuán)隊(duì)的數(shù)據(jù)工程流程，經(jīng)常會(huì)導(dǎo)致“掛羊頭賣狗肉”的情況，比如字段明明是網(wǎng)點(diǎn)名稱，數(shù)據(jù)庫(kù)里卻是網(wǎng)點(diǎn)名稱和網(wǎng)點(diǎn)編號(hào)都有存儲(chǔ)在這一列，導(dǎo)致各個(gè)團(tuán)隊(duì)的成熟度不同，團(tuán)隊(duì)間沒(méi)有一致的數(shù)據(jù)質(zhì)量定義或指標(biāo)。

三、怎么做數(shù)據(jù)架構(gòu)治理

頂層規(guī)劃設(shè)計(jì)的方法在五到十年前比較盛行，多源于國(guó)外咨詢公司基于國(guó)際理論（如DAMA-DMBOK）結(jié)合自身實(shí)踐積累形成的方法論，用這些理論框架為企業(yè)進(jìn)行全面的現(xiàn)狀調(diào)研，基于此再進(jìn)行數(shù)據(jù)治理組織、數(shù)據(jù)治理工作內(nèi)容/流程/制度、數(shù)據(jù)治理平臺(tái)及未來(lái)建設(shè)路徑的規(guī)劃。其交付物通常是厚厚的調(diào)研報(bào)告、設(shè)計(jì)報(bào)告和PPT，項(xiàng)目周期在半年甚至更長(zhǎng)。頂層規(guī)劃設(shè)計(jì)的方法好處在于有理論依據(jù)，體系完整，能夠幫助客戶達(dá)成對(duì)數(shù)據(jù)治理全貌的理解和共識(shí)，有利于推動(dòng)后續(xù)工作開(kāi)展。但其也有許多不足，如過(guò)于理論化與企業(yè)實(shí)際情況結(jié)合不緊，導(dǎo)致管理組織和流程都無(wú)法落地；漫長(zhǎng)的項(xiàng)目周期中，只部分解決了數(shù)據(jù)治理管理能力建設(shè)的問(wèn)題，但并未解決實(shí)際數(shù)據(jù)問(wèn)題、沒(méi)有提升數(shù)據(jù)質(zhì)量甚至業(yè)務(wù)質(zhì)量、數(shù)據(jù)價(jià)值也沒(méi)有顯著發(fā)揮出來(lái)。因此，成果也看起來(lái)很厚重，但實(shí)效并不大。

2、我們是怎么做的

從一開(kāi)始我們也想過(guò)自上而下的這樣推動(dòng)數(shù)據(jù)治理，但是就如上面所述，項(xiàng)目周期太長(zhǎng)，同時(shí)實(shí)際效果也不一定很好。因此我們結(jié)合我們公司的實(shí)際情況，先治理關(guān)鍵流程：數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)模型管理、數(shù)據(jù)上下游鏈路管理、敏感數(shù)據(jù)管理以及數(shù)據(jù)的全生命周期管理。同時(shí)連同業(yè)務(wù)部門，按照產(chǎn)品線進(jìn)行劃分，小范圍內(nèi)快速驗(yàn)證和迭代數(shù)據(jù)治理相關(guān)的方法、流程、規(guī)范，然后再?gòu)?fù)制推廣?？傮w的思路就是：定規(guī)范，建平臺(tái)，建體系。

四、規(guī)范

結(jié)合公司的現(xiàn)狀，我們對(duì)數(shù)據(jù)的全生命流程進(jìn)行梳理，針對(duì)關(guān)鍵節(jié)點(diǎn)我們梳理出了：數(shù)據(jù)存儲(chǔ)選型規(guī)范、數(shù)據(jù)建模管理規(guī)范、數(shù)據(jù)分發(fā)管理規(guī)范、數(shù)據(jù)生命周期管理規(guī)范。

1、數(shù)據(jù)存儲(chǔ)選型規(guī)范

架構(gòu)師在工作中經(jīng)常會(huì)遇到數(shù)據(jù)庫(kù)存儲(chǔ)選型的問(wèn)題，而市面上數(shù)據(jù)庫(kù)產(chǎn)品眾多，往往會(huì)無(wú)從下手，甚至有時(shí)候從業(yè)務(wù)開(kāi)發(fā)到上線運(yùn)維過(guò)程中會(huì)多次更換底層數(shù)據(jù)庫(kù)，給整個(gè)研發(fā)中心帶來(lái)不必要的額外工作，數(shù)據(jù)存儲(chǔ)選型對(duì)于一個(gè)給定的應(yīng)用環(huán)境，針對(duì)公司現(xiàn)有業(yè)務(wù)背景和整個(gè)DBA團(tuán)隊(duì)技術(shù)儲(chǔ)備，選取最優(yōu)的數(shù)據(jù)庫(kù)類型，建立數(shù)據(jù)庫(kù)及其應(yīng)用系統(tǒng)，使之能夠有效地存儲(chǔ)數(shù)據(jù)，滿足各種用戶的應(yīng)用需求。

2、數(shù)據(jù)建模管理規(guī)范

針對(duì)數(shù)據(jù)的開(kāi)發(fā)設(shè)計(jì)階段，我們將數(shù)據(jù)對(duì)象抽象成邏輯模型和物理模型，同時(shí)針對(duì)表、字段、數(shù)據(jù)庫(kù)的命名和設(shè)計(jì)制定了一系列的規(guī)范并前置到邏輯模型設(shè)計(jì)階段，同時(shí)針對(duì)持久化到數(shù)據(jù)庫(kù)上進(jìn)行流程管控。

數(shù)據(jù)建?？傮w流程：

3、數(shù)據(jù)分發(fā)管理規(guī)范

對(duì)于現(xiàn)在公司的數(shù)據(jù)實(shí)際情況，數(shù)據(jù)分發(fā)應(yīng)該嚴(yán)格按照分發(fā)數(shù)據(jù)量進(jìn)行分發(fā)類型選擇，并且除了SQL查詢方式之外，都應(yīng)使用中通數(shù)據(jù)分發(fā)平臺(tái)ZDTP進(jìn)行數(shù)據(jù)分發(fā)，并且通過(guò)訂閱方式對(duì)數(shù)據(jù)下發(fā)至各個(gè)合規(guī)終端，同時(shí)通過(guò)可配置的軟件或工具對(duì)源數(shù)據(jù)進(jìn)行收集、處理以達(dá)到符合中通內(nèi)部或合規(guī)的外部第三方生產(chǎn)需求的操作，以上所有的操作均有流程進(jìn)行管控。

4、數(shù)據(jù)生命周期管理規(guī)范

結(jié)合公司實(shí)際，針對(duì)科技中心所管轄的所有數(shù)據(jù)，文件，圖片，視頻，錄音等存儲(chǔ)。將數(shù)據(jù)進(jìn)行分級(jí)分類，按照對(duì)應(yīng)的級(jí)別的不同制定不同的生命周期管理策略。

數(shù)據(jù)敏感級(jí)別屬于數(shù)據(jù)安全領(lǐng)域，敏感等級(jí)不同的數(shù)據(jù)對(duì)內(nèi)使用時(shí)受到的保護(hù)策略不同，對(duì)外共享開(kāi)放的程度也不同。數(shù)據(jù)管理者負(fù)責(zé)制定其領(lǐng)域內(nèi)數(shù)據(jù)敏感等級(jí)的劃分規(guī)則，并制定和發(fā)布本部門的數(shù)據(jù)敏感等級(jí)目錄。

數(shù)據(jù)分類治理是實(shí)現(xiàn)不同部門之間數(shù)據(jù)共享互認(rèn)的目的。我們通過(guò)分類標(biāo)識(shí)，將分散的、存儲(chǔ)在不同系統(tǒng)的數(shù)據(jù)內(nèi)容，打破數(shù)據(jù)的孤島，進(jìn)行有效匹配，指定不同的數(shù)據(jù)敏感級(jí)別，理清各方的數(shù)據(jù)權(quán)限，達(dá)到數(shù)據(jù)安全治理的目的。

根據(jù)數(shù)據(jù)級(jí)別的不一樣，我們將制定不一樣的數(shù)據(jù)保留策略：