? ? ? ?一、為什么要做數(shù)據(jù)標準管理

? ? ? ?數(shù)據(jù)治理的問題并不僅僅只是治理數(shù)據(jù)本身，其最終目標是提升數(shù)據(jù)價值，它是一個包括組織、制度、流程、工具的管理體系。去年我曾寫過一篇關于數(shù)據(jù)治理的文章《數(shù)據(jù)治理落地難？攜程度假數(shù)據(jù)治理需求設計實踐》，從團隊提效、需求梳理、模型設計、指標管理四個方面分享了攜程度假在數(shù)據(jù)治理中的經(jīng)驗。

? ? ? ?數(shù)據(jù)治理不是簡單的一次性的行為，它是一個長期持續(xù)性的項目集，要想通過數(shù)據(jù)治理將企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)應用水平提升到新高度，而不是淪為理論實踐兩張皮，需要跨組織職能的協(xié)調以及在數(shù)據(jù)治理的各環(huán)節(jié)中將標準管理落實到位。

? ? ? ?數(shù)據(jù)治理是涵蓋數(shù)據(jù)的采集、處理、分析、使用的全流程管理體系，數(shù)據(jù)標準則是數(shù)據(jù)治理各項活動的基礎，是企業(yè)數(shù)據(jù)治理理論和方法與實際信息系統(tǒng)和數(shù)據(jù)的橋梁。攜程度假的實踐經(jīng)驗總結發(fā)現(xiàn)，數(shù)據(jù)標準管理需要包含以下三要素：

? ? ? ?范圍：成功的數(shù)據(jù)治理應當是清楚地了解需要治理什么

? ? ? ?工具：對規(guī)范數(shù)據(jù)治理活動標準提供系統(tǒng)的支持

? ? ? ?制度：對在人員和流程方面的行為方式及有效地使用工具提供指導

? ? ? ?二、數(shù)據(jù)標準管理在攜程度假的實踐

? ? ? ?下文將從數(shù)據(jù)管理的兩個核心領域中選取部分案例來分享一下攜程度假在數(shù)據(jù)治理方面的探索與實踐：

? ? ? ?數(shù)據(jù)集成

? ? ? ?元數(shù)據(jù)管理

? ? ? ?2.1 數(shù)據(jù)集成

? ? ? ?攜程度假覆蓋的數(shù)據(jù)源有業(yè)務系統(tǒng)類的結構化數(shù)據(jù)、埋點日志類的半結構化數(shù)據(jù)及其他內容類的非結構化數(shù)據(jù)。數(shù)據(jù)集成不僅只是解決技術上的從源端抽取到數(shù)據(jù)中臺，其數(shù)據(jù)內容的變更通常會對現(xiàn)有流程及下游的數(shù)據(jù)應用產生影響，因此基礎數(shù)據(jù)的管理重點在于變更管理和統(tǒng)一標準管控。這里會介紹針對結構化數(shù)據(jù)生產變更的標準管理。

? ? ? ?2.1.1 生產變更的標準管理

? ? ? ?生產變更的標準管理主要解決了以下問題：

? ? ? ?第一、哪些變更是需要通知的？

? ? ? ?1）結構類變更，這部分的操作都會經(jīng)過數(shù)據(jù)庫的DDL轉換，所以方案上只需要監(jiān)聽變更消息，自動進行解析出核心的變更信息，比如庫名、表名、表OWNER、變更類型（新增/修改/刪除）、變更對象（表/字段）等，并且定義一個標準的數(shù)據(jù)結構用于通知。目前工具可以對以下類型的變更做自動化感知及通知：

• 新增字段
• 修改字段名
• 修改字段類型
• 刪除字段
• 修改表名

? ? ? ?2）內容類變更，這部分往往通過系統(tǒng)化的方式無法感知到，需要對應表的研發(fā)評估出影響面，并線下周知下游。這種方式常常會有兩種問題產生，其一是影響面評估不準——漏報；其二是依賴人的責任心——忘報。目前工具可以對以下類型的變更做線上人工提報及通知：

• 字段枚舉值變更
• 字段廢棄
• 字段邏輯變更
• 表廢棄
• 表遷移

? ? ? ?第二、變更通知誰（影響范圍）？

? ? ? ?能評估全、評估準生產變更對于數(shù)據(jù)側的影響面及通知人對于研發(fā)側的TO來說是一件有挑戰(zhàn)的事情。但從數(shù)據(jù)中臺能力的角度而言，數(shù)據(jù)血緣是一個中臺基礎元數(shù)據(jù)組件，其中已經(jīng)包含了完整的關系信息，表與人、表與表、表與字段、字段與字段等，我們可以基于這些關系信息建立起影響分析的能力。

? ? ? ?目前攜程度假的感知做到了ODS層，如圖，TO在界面上選擇相應的庫和表，影響分析就能識別展示出相關的影響面及通知人。下一階段我們還將打通應用端的影響分析，將會通過整合應用端數(shù)據(jù)血緣信息覆蓋到數(shù)據(jù)應用終端的影響面識別。

? ? ? ?第三、有工具如何能保證強執(zhí)行？

? ? ? ?生產變更制度與流程：

? ? ? ?1）當生產發(fā)生變更時，通過自動化感知或TO在線提報的方式通知到下游相關數(shù)據(jù)OWNER，正常境況下都會有一定的時間余量。

? ? ? ?2）數(shù)據(jù)OWNER接收到生產變更通知后，需要及時確認影響面，必要的溝通確認還是不可缺少的重要環(huán)節(jié)，并評估改動成本及計劃時間。

? ? ? ?3）無論是自動感知還是在線提報，都有可能由于人為因素導致執(zhí)行不到位，所以必須對于所有的變更感知方式有一個事后的DQC告警，同時告警的能力最好能夠做到T+0，因為可以及時感知告警在第一時間處理解決，保障任務的基線和數(shù)據(jù)應用不受影響。

? ? ? ?4）最后需要把質量閉環(huán)加入到流程中，保證在流程中發(fā)現(xiàn)的問題和由于人為因素導致的執(zhí)行不到位能定期反饋到QA或者在質量會上曝光，以此來提升大家的質量意識，形成良性循環(huán)。

? ? ? ?2.2 元數(shù)據(jù)管理

? ? ? ?元數(shù)據(jù)對于數(shù)據(jù)管理和數(shù)據(jù)使用來說都是必不可少的。所有大型組織都會產生和使用大量的數(shù)據(jù)，在整個組織中，不同的人擁有不同層面的數(shù)據(jù)知識，但沒有人知道關于數(shù)據(jù)的一切。因此，必須將這些信息記錄下來，否則組織可能會丟失關于自身的寶貴知識。

? ? ? ?元數(shù)據(jù)管理提供了獲取和管理組織數(shù)據(jù)的主要方法，建立業(yè)務術語表，用于定義和定位組織中的數(shù)據(jù)，確保組織中數(shù)量繁多的元數(shù)據(jù)被管理和應用。假如沒有可靠的元數(shù)據(jù)，組織就不知道它擁有什么數(shù)據(jù)，為保證其高質量，應把元數(shù)據(jù)當作產品來進行管理。好的元數(shù)據(jù)不是偶然產生，而是認真計劃的結果。這里介紹攜程度假對于業(yè)務元數(shù)據(jù)的標準管理。

? ? ? ?2.2.1 業(yè)務元數(shù)據(jù)的標準管理

? ? ? ?業(yè)務元數(shù)據(jù)的標準管理主要解決了以下問題：

? ? ? ?第一、數(shù)據(jù)地圖中的業(yè)務元數(shù)據(jù)需要覆蓋哪些？

? ? ? ?攜程度假的數(shù)據(jù)地圖工具集成了模型、指標、看板、數(shù)據(jù)集四種業(yè)務元數(shù)據(jù)，除了元數(shù)據(jù)信息的搜索與展示，也打通了權限申請流程及在線管理的功能。

? ? ? ?模型：數(shù)據(jù)中臺中規(guī)范化的主題域模型。

? ? ? ?指標：數(shù)據(jù)中臺中標準化的業(yè)務分析指標。

? ? ? ?看板：支持有固化場景的標準化的指標分析看板。

? ? ? ?數(shù)據(jù)集：支持無固化場景下的明細查詢與數(shù)據(jù)探索分析。

? ? ? ?第二、如何管理并維護準確一致的元數(shù)據(jù)？

? ? ? ?建表元數(shù)據(jù)規(guī)范

? ? ? ?數(shù)倉模型建表的流程需要嚴格遵守建表工具規(guī)范，主要的元數(shù)據(jù)信息有：

? ? ? ?分層：按照經(jīng)典建模分層思路，分為ODS層（操作數(shù)據(jù)層），EDW層（明細數(shù)據(jù)層），CDM層（匯總數(shù)據(jù)層），ADM層（數(shù)據(jù)應用層），MID層（中間層），DIM層（維度層）

? ? ? ?一級主題：按照數(shù)據(jù)域進行劃分，例如常規(guī)的訂單域、日志域、商品域、服務域等

? ? ? ?二級主題：按照業(yè)務線進行劃分，度假包含的業(yè)務線較多，例如團隊游、門票、用車、租車等

? ? ? ?分區(qū)類型：全量分區(qū)或增量分區(qū)

? ? ? ?重要等級：標識表的重要程度優(yōu)先級，分為P0-P3

? ? ? ?敏感級別：標識商密與個密敏感程度，分為L1-L4

? ? ? ?建表工具會根據(jù)元數(shù)據(jù)的選擇自動生成標準的建表語句模板，其中包含了表名規(guī)范、字段名及注釋規(guī)范等，表owner根據(jù)工具的引導完成表名及表的邏輯結構的設計，并將這些信息和完整的注釋通過工具提交建立正式表。

? ? ? ?指標元數(shù)據(jù)規(guī)范

? ? ? ?指標的定義是由組成指標的業(yè)務術語構建而成，主要的業(yè)務術語有：

? ? ? ?數(shù)據(jù)域：指面向業(yè)務分析，將業(yè)務過程或者維度進行抽象的集合。例如常規(guī)的訂單域、日志域、商品域、服務域等

? ? ? ?業(yè)務過程：指企業(yè)的業(yè)務活動事件。例如訂單域中的下單、支付、退款等

? ? ? ?時間周期：指用來明確數(shù)據(jù)統(tǒng)計的事件范圍或者時間點。例如最近30天、最近半年、截至當日等

? ? ? ?修飾詞類型：指對修飾詞的一種抽象劃分。例如商品維度-商品類型、時間維度-預定日期、渠道維度-分銷渠道等

? ? ? ?修飾詞：指除了統(tǒng)計維度外指標的業(yè)務場景限定抽象。

? ? ? ?原子指標：指基于某一業(yè)務行為下的度量，是業(yè)務定義中不可再拆分的指標。例如成交-訂單數(shù)

? ? ? ?維度：指用來反應業(yè)務的一類屬性，這類屬性的集合構成一個維度。例如商品維度、時間維度、渠道維度等

? ? ? ?維度屬性：指隸屬于一個維度下的屬性值。例如地理維度下的城市ID、城市名稱、所屬國家等

? ? ? ?派生指標：派生指標=業(yè)務線+一個原子指標+多個修飾詞（可選）+時間周期。例如團隊游_成交-訂單數(shù)

? ? ? ?指標的設計與注冊必須嚴格遵守指標的定義規(guī)范，且在指標管理系統(tǒng)中進行操作，所有上述的業(yè)務屬于都在系統(tǒng)后臺事先進行標準化，標準化的內容包括術語的命名、分類以及準確的定義。原子指標和派生指標的生成過程都是基于標準化的組裝，所有的相關信息也是結構化的自動生成。

? ? ? ?指標實踐中在最終生成一個派生指標完整元數(shù)據(jù)時，有兩個設計上必須考慮到兩點：

? ? ? ?第一，指標的口徑必須有一個明確的業(yè)務維護人而不應該只有一個數(shù)據(jù)開發(fā)owner，關于指標的生命周期管理（變更或者下線）都是需要指標業(yè)務owner收口，這樣才能保證指標的定義和業(yè)務的一致性；

? ? ? ?第二，在業(yè)務術語定義標準結構化的同時，最好加上一個業(yè)務話術的定義描述，便于業(yè)務更好的理解指標的業(yè)務含義。

? ? ? ?第三、數(shù)據(jù)地圖如何更好的幫助業(yè)務使用數(shù)據(jù)？

? ? ? ?門戶看板的指標應用標準化

? ? ? ?業(yè)務門戶看板是固化場景的數(shù)據(jù)查詢分析入口，其中包含了標準化的指標、篩選條件及可視化圖表。由于前端展示的個性化需求，指標的展示名稱往往不能直接反應指標的口徑，往往存在同名不同意的情況，導致業(yè)務匯報及使用數(shù)據(jù)的混亂或需要頻繁的線下溝通及確認。

? ? ? ?門戶看板的指標應用標準化就是通過整合數(shù)據(jù)地圖的指標元數(shù)據(jù)，在看板工具中強制需要綁定標準化過的指標ID，即已在指標管理系統(tǒng)中維護的指標，在前端的交互上，會清晰的顯示出相關指標的指標定義，如果業(yè)務還需要進一步查看更多元數(shù)據(jù)信息，也可以跳轉到具體指標信息詳情頁，會有更多的相關信息可供業(yè)務查看。

? ? ? ?自助分析的取數(shù)場景標準化

? ? ? ?除了固化場景的看板與數(shù)據(jù)集，自助取數(shù)是另一個讓業(yè)務能快速利用數(shù)據(jù)解決業(yè)務分析的通道。但對于業(yè)務而言，自身對于數(shù)據(jù)的理解程及取數(shù)能力往往遠低于門檻線，自助取數(shù)中的效率和質量都難以達到相對可用的標準。

? ? ? ?自主分析的取數(shù)場景標準化就是通過固化相對標準且注釋清晰的取數(shù)場景模板，簡化業(yè)務方編寫SQL代碼的能力，通過簡單參數(shù)的修改，一鍵查詢即可跳轉至自助取數(shù)平臺進行業(yè)務分析。

? ? ? ?三、總結與思考

? ? ? ?數(shù)據(jù)管理是一個復雜的過程，在這個過程中絕不僅僅只是數(shù)據(jù)團隊的努力，要將制定制度和實施細則，在組織內多個層次上實踐數(shù)據(jù)管理，并參與組織變革管理工作，積極向組織傳達改進數(shù)據(jù)治理的好處以及成功地將數(shù)據(jù)作為資產管理所必須的行為。

? ? ? ?企業(yè)的數(shù)據(jù)戰(zhàn)略必須和業(yè)務戰(zhàn)略目標保持高度一致，即使擁有最佳的數(shù)據(jù)戰(zhàn)略，數(shù)據(jù)治理和數(shù)據(jù)管理計劃也可能不會成功，除非企業(yè)愿意接受并進行管理變革。數(shù)據(jù)治理越顯著地幫助解決組織問題，才會有越來越多的人去接受改變、去接受數(shù)據(jù)治理實踐。

? ? ? ?攜程度假的數(shù)據(jù)治理之路還很漫長，其中也參考了不少領域中優(yōu)秀成熟的治理思路與方案，希望本文的一點點實踐經(jīng)驗能給讀者帶來一點點的幫助。