- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-03-10來源:柒月瀏覽數:451次
現在很多人都在講數據治理,但他們講的數據治理實踐大多還是點狀的東西,即使大如阿里,講的數據之道大多也是數據技術之道,雖然數據技術也是數據治理的一部分,但從體系化的角度來講,這遠遠不夠。
我其實更關注組織、機制和流程,更關注一個組織的數據治理體系是如何走到這一步的,但少有大公司闡述過他們的數據組織是如何演進的。
比如大家都說雷軍厲害,小米生態牛逼,但這個跟我又有什么關系,我其實更想知道小米是怎么走到這一步的,在這個追問的過程中,也許能找到一些可能于我成長有益的東西,比如《一往無前》這本書。
我也很關注數據政策,但除了銀行,幾乎很少看到真正得以落地的“活”的數據政策,雖然數據治理每天都在談政策,但如果想從網上想找到某個企業的真實的數據治理政策,我想你會很失望,這讓我覺得企業談數據治理政策是很虛的東西,直到我看到華為的數據之道。
但即使是華為的數據之道,我對其內涵的理解也是漸進的,至少經過了四次親密接觸:
第一次是通過《華為數據之道》這本書,讓我初步了解到華為的一些做法,自己還寫了篇文章談了認識,不過現在回過頭來看當初的理解,還是非常膚淺的。
第二次是參加公司的一次培訓,見到了《華為數據之道》的作者王強老師,通過他的現場講解,自己對于這本書又有了新的理解,這個時候我產生了很多疑問,比如對總部和分部數據管理組織職能邊界的疑問,一集中就僵化,一放開就混亂,這個尺度到底如何拿捏?
第三次是由于要謀劃明年的數據治理工作,因此邀請王強老師通過視頻的方式探討了華為的數據之道,特別是對數據組織的設置、隊伍的建設和信息架構建設等問題做了咨詢。
第四次是邀請王強老師來現場面對面的交流,這進一步澄清了我心中很多的困惑,我發現其實很多東西書中已經寫了,但自己沒讀出來,而很多東西書中是寫不出來的,因為你所處的企業跟華為不一樣,只有在不停的碰撞交流中才能找到答案,這個時候,王強老師更多變成了咨詢的角色。
今天我第二次來談對華為數據之道的理解,發現其最大的價值,在于其將數據治理的很多概念都具象化,體系化了,并且這種體系化的數據治理集中在一個公司里實現了,這是國內數據治理體系化實踐的“活化石”。
更為關鍵的是,華為公司愿意分享其所有的實踐,即使它并不是完美的,但在業界是絕無僅有的,至少目前是這樣。
一些公司對數據技術雖然報以開放的態度,但對組織,機制,流程還是鮮有提及,甚至是諱莫如深的,這讓我們很難學到真東西,DAMA,DCMM雖然都是好東西,但對于需要實踐的企業還不夠,因為理論與實踐要相輔相成,否則理論沒法進步。
多年前阿里出了一本《大數據之路》的書,里面的很多內容到現在還不時被翻出來說,因為講某個企業數據技術實踐的,比較有高度而又體系化的,還真找不到第二本。《華為數據之道》這本書,相信在數據治理實踐領域也是同樣的情況,很長時間內找不到第二本。
以上就是華為數據之道有吸引力的原因。
但我們學習華為,肯定不是照搬華為,而是要形成自己的數據之道,比如傅一平的數據之道,XX企業的數據之道,可惜我現在還寫不出這個道道來,但我還是可以把最近從王老師身上學到的東西和心得體會分享給你,雖然我還沒有找到最終答案,但記錄這些過程性的理解很重要。
《華為的數據之道》這本書內容很多,以下是王強老師贈送我的這張圖(華為數據之道書上也有),說華為數據治理的奧秘,都隱藏在了數據治理框架這張圖里,共分為七個模塊:政策指引、數據架構管理、基于主業務流的業務對象識別、流程、組織、數據質量管理及IT。

我后來發現,這七個模塊是自洽的,每個模塊都壞壞相扣,誰都離不開誰,讀懂了這張圖,也就掌握了華為數據之道的密碼。
1、政策指引
華為數據管理總綱明確了數據治理最基本的原則,包括信息架構、數據產生、數據應用及數據質量的職責和分工等,從而確保數據治理環境的有效構建。雖然是短短的400多個字,但的確是綱領性的文件,我這里羅列幾個印象深刻的:
“數據是公司的戰略資產,不是部門私有資產”,這個雖然不言而喻,但并不容易達成共識。
“建立企業級信息架構,統一數據語言”,很多建了大數據平臺的企業會認為我早就有了信息架構,但實際上99%的企業是沒有的,因為這里的信息架構,更多的是指對源端系統而言的,不僅指大數據平臺的資產目錄,而大多企業的數據管理組織的手并沒有那么長,這個跟我以前提的源端元數據管理其實是一個道理。
“所有項目須遵從數據管控要求。對于不遵從管控要求的項目數據管控組織擁有一票否決權”,某個系統沒有正式發布數據資產目錄就不能上線,99%的企業是達不到的。
“公司數據Owner擁有公司數據管理的最高決策權,各領域數據Owner承擔數據工作路標、信息架構、數據責任機制和數據質量的管理責任”,大多公司不要說公司Owner,領域Owner也難有說法,這是頂層設計的問題。
“誰產生數據,誰對數據質量負責。數據Owner負責基于使用要求制定數據質量標準,確保數據源的數據質量”,數據質量標準不是簡單的由大數據平臺建設方制定,而是要由數據Owner自己制定,跟業務方協商確定。
“各數據Owner應建立數據問題回溯和獎懲機制。對不遵從信息架構或存在嚴重數據質量問題的責任人進行問責。” ?現實情況是,數據質量問題大多提不上公司的日程。
當初自己讀《華為數據之道》的時候,對于這些原則也是一帶而過,但讀了很多遍以后,才發現奧妙無窮,王老師跟我講,華為的這些數據治理政策的每個字,都是一個個摳出來的,都是智慧的結晶。
我們不能照搬這些原則,因為受制于自身的環境和發展階段,但的確是可以借鑒的,很多原則就是解決數據治理問題的根本性方法,比如信息架構就是要強調源頭治理。當然我們可能永遠也無法達到這些原則擬定的高度,但道就在那里。
2、數據架構標準管理
信息架構是公司統一的數據語言,是業務流打通、消除信息孤島和提升業務流集成效率的關鍵要素。華為公司通過明確對信息架構的管理要求,規范信息架構的建設和遵從原則,使公司的信息資產得到有效管理和重用。
華為公司定義的信息架構包括四個方面內容:
數據資產目錄:提供所屬域的數據資產目錄,通過分層架構表達對數據的分類和定義,厘清數據資產
數據標準:定義公司層面需共同遵守的數據含義和業務規則,是公司層面對某個數據的共同理解,這些理解一旦確定下來,應作為企業層面的標準在企業內被共同遵守
數據模型:通過E-R建模實現對源端系統數據及關系的描述,用于指導后續的數據開發
數據分布:要展現源端數據在業務流程和IT系統上流動的全景視圖,這樣可以識別數據的“來龍去脈”,成為定位數據問題的導航
華為定義的信息架構跟傳統數據管理領域的數據標準,元數據管理,數據架構管理有很多的出入,但我覺得站在實踐的角度看,它這么定義是合理的,因為方便管理,通俗的來講,建立信息架構的目的就是要能對企業的數據資產進行定位、分類、描述和溯源,從而解決數據找得到,看得懂,能使用等問題。
3、基于主業務流的業務對象識別
數據架構標準管理提到了要管好數據資產,而業務對象識別就是要明確數據資產到底是什么,怎么確認這些就是數據資產,這是數據資產領域最為重要的一個概念。
記得某次在做某個陌生領域數據資產梳理的時候,團隊還是以系統,表為對象進行梳理,那時就發現表的數量浩如煙海,根本分不清楚哪些表是有價值的,哪些表是沒價值的,為了趕工期,就一股腦兒全部采集過來,然后發現一些毫無業務含義的系統配置表都被采集過來了,其實大家根本沒搞清所謂的企業數據資產到底是什么,囫圇吞棗采集過來的數據除了占用空間,于業務又有什么價值?
很多年前我憑著自己的一腔熱血能夠梳理出一本企業級數據字典,是因為我對于B域的業務理解還是比較深刻的,知道采集哪些表是重要的,但我當時并不知所謂的業務理解其實就是對B域的業務流程和業務對象的理解,反正我就是知道客戶,用戶,訂購,事件,營銷,賬務,投訴相關的表很重要,因為我取數用到的太多了,這是學而不思造成的問題。
但一旦讓我進入一個新的領域去梳理那些陌生的數據資產,我就會陷入到底哪些算是數據資產的困境,因為我并不知道以前成功的本質原因,雖然我們也找了臨時的解決辦法,比如讓業務部門去勾選,但效果其實不太好。
對于數據資產的認定在業界其實有了共識,華為這里提了基于主業務流的業務對象識別方法,比如合同流程中,合同就是一個核心業務對象,因此跟它相關的表就是數據資產,阿里有個維度建模的方法論,也是先定業務流程,然后定事實和維表,最后定指標,事實包含核心業務對象,大家最終殊途同歸。
從圖中可以看到,華為有四個核心業務流程,明確了這些業務流程,就能找到業務對象,然后確立主數據和參考數據(即維度數據),數據資產就這樣被找到了。
在這個過程中,數據治理領域的一些核心概念都被有機的串接在了一起,比如業務流程,參考數據,主數據等等,這就是我推崇它的一個原因,即我們從來不需要刻意制造數據治理的概念,這些概念都是為解決實際問題產生的。
為了把這些問題進一步解決好,有些概念被單獨提煉出來形成一個體系,比如主數據,但在很多企業,無需強調主數據,因為源生系統做得好。
4、流程管理
王老師提了一個非常重要的一個概念,就是數據治理工作要例行開展,以數據治理流程與例行化,應對數字化常態化,不搞運動,扎實落地,數據治理顯然是不能畢其功于一役的。
為了支撐企業數據資產從架構設計、質量管理到數據分析應用的全生命周期管理,比如信息架構變更需要跟CMDB變更同樣嚴謹,就需要在企業的流程架構中建立一個管理數據流程,明確數據管理的關鍵活動、角色,以及與周邊組織的協作關系。
華為將“管理數據”流程定位為“管理BT&IT”流程下的一個L2流程,下設“管理信息架構”“管理數據質量”“管理數據分析”3個子流程。
但諸如信息架構等的變更即使有流程的保障,也需要各領域有按標準落地的能力,因此在華為的實踐中,每個領域的數據團隊都需要設置系統架構師和數據架構師的角色,向上承接信息架構的設計要求,同時,在管理IT流程的設計規范中,明確界面的字段要遵從數據標準的定義,數據庫表和字段的設計要承接信息架構的設計要求,從而達到數據治理融入IT實施流程的目標。
流程管理要保障到位,離不開專業數據隊伍的建設,否則流程就是空轉,白耗管理成本。
5、組織保障
就像流程Owner一樣,華為提出了數據Owner的概念。
華為公司的每一個數據,必須由對應的業務部門承擔管理責任,且必須有唯一的數據Owner。業務負責制的數據管理責任體系,是華為數據治理體系多年實踐經驗的結晶,是確保體系發揮作用的基石。
我以前提過沒有CDO,就沒有數據的未來。華為早就認識到了這一點,但考慮的更為體系化。華為在公司層面設置了公司數據Owner,在各業務領域設置領域數據Owner,這樣既能確保公司數據工作統籌規劃,也能同時兼顧各業務領域靈活多變的特征。
很多企業難以在管理層面設置公司數據Owner,CDO角色,我覺得可以退而求其次,可以設置諸如公司IT委員會,數據委員會等組織,公司數據Owner需要承擔制定數據管理體系的愿景和路標、批準公司數據管理的政策和法規、裁決跨領域的數據及管理爭議,解決跨領域的重大數據及管理問題的職責。
各領域數據Owner要負責所轄領域的數據管理體系的建設和優化,包括負責信息架構建設,確保關鍵數據被識別、分類、定義及標準化;負責保障所轄領域的數據質量,持續度量與改進;負責所轄領域數據入湖,建設數據服務,滿足公司各個部門對本領域數據的需求。
很多公司的組織架構跟華為公司的事業部架構不一樣,比如IT是集中化的,不像華為那樣每個事業部有自己強大的IT部門,華為的領域Owner實際包含了業務部門+IT部門,因此由其來負責自己領域的數據管理是可行的,但傳統企業的純業務部門很難擔負起領域數據Owner的職責,因為可能連信息架構是啥都不清楚。因此,我們不能機械的照搬華為的領域數據Owner的策略,而是要因地制宜。
對于IT集中化的傳統企業,隨著數字化時代拉開帷幕,IT部門的內涵其實發生了變化,其不僅是支撐者,更是業務的賦能者,有時甚至直接創造業務,因此由其承擔領域數據Owner的職責是合理的,既懂IT,又懂數據,還理解業務,大多出現在集中化的IT部門。
無論如何,為了完成數據Owner的職責,公司Owner需要有一只企業級的數據管理隊伍(包括政策制定,規范制定,數據湖建設等等)來進行頂層設計和數據底座的統一建設,各領域數據Owner也需要一支懂業務、懂技術的專業數據隊伍,不僅要能落實公司Owner的要求,還能快速滿足本領域的數據需求。
王老師強調,企業級的數據管理隊伍要更多定位自己是服務者的角色,而不是簡單的管理者角色,更不要越俎代庖,去做自己不擅長的一線工作,同時頂層設計的尺度和統一建設的靈活度也考驗著組織的智慧,比如入湖嚴控出湖百花齊放的策略。
無論如何,數據治理如果沒有資源的保障,特別是各領域Owner如果沒有基本的數據隊伍,那前面所講的,全是空話,留給大數據平臺建設者一堆根本不可能由其完成的源端信息架構的建設任務,或者是不可能徹底解決的數據質量問題。
6、數據質量管理
企業數據往往來源于多個不同的業務系統,數據流轉、處理環節多,因此會導致嚴重的數據質量問題,很多人甚至提出,數據治理的目標就是提升數據質量,這凸顯了數據質量管理在數據治理體系中的地位。在整個數據產生、處理到消費過程中,后兩個階段的數據質量問題相對容易解決,而第一個是最難的。
用“Garbage in Garbage out(垃圾進,垃圾出)”原則保證數據質量已成為數字化轉型企業的共識,數據質量需從業務源頭抓起,要做到這一點,涉及到兩個角色的職責明確。
公司數據Owner:下達數據質量目標,并簽發數據質量度量報告;基于數據質量結果及改進狀況,對相應數據Owner進行獎勵及問責。
領域數據Owner:承接公司數據Owner設定的數據質量目標;明確數據質量問題改進責任人,并推動問題閉環管理;對數據質量度量結果負責,依據要求向公司數據Owner述職。
這就是華為提倡的數據質量管理之道。
華為還提出了好的數據質量需要從設計與執行兩個維度開展評估的方法,設計即從信息架構的四個角度(數據資產目錄、數據標準、數據模型、數據分布)來評估,比如數據分類是否完整、業務定義是否準確等,執行則從數據質量六性(一致性、完整性、及時性、唯一性、有效性、準確性)來評估,我覺得很有道理。
企業的數據質量管理是一個系統性的工程,數據質量改進的過程是一個PDCA循環,可以通過公司的變革項目進行切入推進,變革項目的改進成果則要固化到流程及管理體系中并推廣執行,執行后進行度量評估并持續迭代。
7、IT保障
華為公司所有的數據管理規則,都要求在統一治理平臺落地,即通過IT平臺進行強制約束,無論是數據湖、主數據平臺、維度數據管理平臺等等。
我記得以前提過元數據驅動的開發管理,就是強制數據開發必需遵循元數據管理規范。大家把管理規則前置到了業務流程中,前置到了IT系統中,你不遵循規范,就不具備操作數據的權利,這是根本解決大法。
以數據入湖為例,華為就認為,數據入湖是數據消費的基礎,需要嚴格滿足入湖的6項標準,包括明確數據Owner、發布數據標準、定義數據密級、明確數據源、數據質量評估、元數據注冊。通過這6項標準保證入湖的數據都有明確的業務責任人,各項數據都可理解,同時都能在相應的信息安全保障下進行消費。
又比如數據服務,華為制定了一系列數據服務管理規范,包括數據服務要滿足可重用性、服務提供方要定義SLA服務水平承諾、應用只能通過服務接口向其他應用開放其數據和功能、所有的服務需在統一的服務管控平臺中進行注冊和發布等等。
至此,對于這張圖的解讀就完了,你會發現,圖中數據治理的七個模塊是個有機的整體,缺一不可。
政策指引是為了形成數據文化的共識,數據架構管理是為了確保數據資產清晰可見,基于主業務流的業務對象識別+流程管理是為了確保數據資產被準確發現,組織保障是為了確保有正確的足夠的人來運營這些數據資產,數據質量管理是為了確保數據資產始終可用,而IT則是為了確保數據資產運營的標準化和規范化。
讀書就是要讀薄吧,讀懂了華為這張圖,我想能抵上10年的數據治理經驗吧,因為它讓數據治理的邏輯變得清晰,從實踐的角度給出了很多本質性方法,這也是華為數據之道吸引我的原因。
當然很多企業的確達不到華為的條件,那就學學孔子,“用之則行,舍之則藏”,但這個道,你還是需要知道,萬一機會真到了呢?
上一篇:企業級技術架構設計方法...