- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2024-05-03來源:凋零的玫瑰瀏覽數:299次
每家企業開展數據治理的愿景基本都是為了通過持續的數據治理,來保障整個企業數據資產的價值創造。證券行業作為一個強監管行業,開展數據治理的首要目標是監管合規,確保符合國際、國家、行業的法律法規或監管要求;第二個目標是數據安全,保護信息主體的隱私安全;第三個目標是保障數據的可信可用,即通過持續改進數據質量來提供準確、及時、完整、一致的數據。
數據治理框架整體上可分為三層:
第一層是頂層設計方面,在開展數據治理的過程中,首先需要自上而下地組織保障,每一級也要有相應的角色和崗位來開展工作。在此基礎上,還需要制度與流程的保障,數據治理本身就是偏管理和協調類的工作,需要通過各種各樣的流程制度來實現數據標準和工作的推動。
第二層是治理領域方面,首先數據質量是數據治理必不可缺的領域,也是主要的抓手,需要通過數據質量監控、數據問題整改等一系列工作來保障組織內各個系統、各個業務數據質量的提升。其次是數據資產的統籌,包括元數據、數據模型、數據標準和數據架構的管理。最后是數據安全管控,包括數據安全的管理制度、技術平臺、持續化安全運營等。
第三層是平臺工具,例如數據管控平臺、數據模型工具、數據資產門戶、數據安全運營平臺等,通過這些平臺來支撐以上數據質量、數據標準、元數據、數據模型、數據架構和數據安全等方面的工作。

細化到各個領域,首先在組織架構層面,一般的金融企業或者央企、國企都會分為三層的組織架構,自上而下地開展整個企業或者集團的數據治理工作。
在最上層決策層,由公司董事長或者總裁來牽頭整個公司的數據治理工作,成立數據治理委員會或者叫數據治理領導小組,所以數據治理也是一把手工程。
第二層是管理層,管理層一般會成立相應的數據治理辦公室或者數據治理工作小組來推進相關的制度建設、工具建設以及標準化流程落地。
第三層是執行層,即每個業務部門或者每一個開發團隊,有相應的數據治理專員來執行數據治理策略、數據標準流程以及落實數據質量的要求和數據安全的管控。

在制度體系層面,首先會有一個公司層面或者集團層面的數據管理辦法,用來統籌數據管理領域相關的各項規范細則。然后會有數據標準細則、數據質量細則、數據模型細則、元數據細則、數據架構設計規范等一系列的規范和流程。最后基于以上各類細則,需要發布數據標準、數據質量、元數據、數據架構等各類流程與模板,用來在每一個流程中進行評審和檢查。同時數據安全管理辦法也會作為一個獨立的制度體系,在整個集團或者公司內發布,并且會按照數據全生命周期劃分,如數據的存儲安全、傳輸安全、備份安全等。

數據各領域包括數據標準、數據質量、元數據、數據架構、數據安全等。數據標準指通過對數據的規范和一致定義來規范指標的業務屬性、管理屬性及技術屬性,避免指標重復建設、指標口徑不統一等各類情況。業務屬性包括數據指標的中英文名稱、簡稱、別名、業務定義、業務規則、統計頻率等方面內容。技術屬性包括數據的類型、格式、長度、精度等,也即在數據庫里進行物理模型設計及落地的一些屬性。管理屬性是由數據治理或者數據管理歸口的團隊來牽頭制定的數據標準分類、安全定級、標準的定義部門、管理者和業務應用系統等相關信息。

數據質量管理整體的流程和思路可以結合 DMAIC 六西格瑪框架或者 PDCA 環來進行設計。
以 DMAIC 為例。首先在定義階段需要明確數據質量相對應的質量規則,基于這些規則才能在第二個階段進行數據質量的檢核,通過檢核發現的問題,可以在第三個階段進行分析和溯源,再由問題原因發生的團隊來進行數據質量的整改和提升,最后由數據治理團隊進行全流程的跟進和控制。

為了支持上述流程,需要完善的數據質量管理工具。工具層面,可以分為數據層、計算層和應用層。首先在數據層,數據質量管理工具需要把企業內部的各類數據管理起來,如賬戶數據、產品數據、投研數據、報送數據等。在計算層,需要基于工具對各類數據進行一致性、完整性、準確性或者空值檢測等各類基礎數據或者指標數據的監控。通過一些規則的配置完成質檢任務以及數據質量監控任務的運行和告警。在應用層,可以通過數據問題的管理以及數據質量看板提供的功能來支撐,如提供一些管理問題工單的錄入、問題的統計數據、質量評分卡等功能。以上就是整個數據質量管理的閉環流程,在事前、事中、事后進行整體的數據質量保障。

數據質量監控是在數據質量工作中提前發現問題,并且避免數據問題重復發生的主要手段,需要覆蓋企業內部各類 OLAP 和 OLTP 系統。
數據質量監控分為五大類,第一類是基礎數據的監控,如針對客戶數據、交易數據、產品數據等原始數據,需要從完整性、一致性、準確性、真實性等方面進行監控;第二類是指標數據監控,指針對如報表加工出來的各類數據進行同比波動、環比波動、最大值等各類指標類數據的監控;第三類是跨系統數據監控,是對于企業內部多個系統中同一類數據一致性的監控,如賬戶系統和另一個系統都有客戶的個人信息數據;第四類是數據任務的監控,通過對各種任務的及時性或者一致性做數據任務的保障;第五類是表結構監控,針對各類數據庫的原始數據進行監控,一旦表結構發生變動,就將變動及時告訴給下游系統和相關的負責人,讓他們及時評估。

數據模型管理的整體思路應與企業內部的研發流程相結合,如與 DevOps 相結合貫穿于數據模型的設計、開發、測試和上線全過程。同時也需要通過數據模型的規范性檢查和數據模型的監控,來確保數據模型的質量。在事前針對自研類、采購類等系統做模型的逆向和設計,把模型管理起來。同時這些模型在設計過程中,需要和企業內部的數據標準做映射和引用,從而保證數據模型在設計階段的規范性。事中階段,通過數據治理團隊或數據架構團隊對數據模型評審保障模型規范性的落地。事后,通過生產態模型和設計態模型的比對來監控,如上線后和規范性設計階段是否一致來做事后的檢核和保障。

元數據管理更偏技術,例如通過元數據系統對各個業務系統、數據倉庫、數據集市、數據湖里源頭的數據做采集和版本管理。同時基于元數據和研發流程的打通做血緣關系的解析、預發布庫的管理。最終通過元數據的管理來實現影響分析、表結構的冷熱度分析、跨環境的比對等應用場景。

以元數據的融合與共享為例,將元數據系統與研發流程打通,即元數據系統與底部的數據交換平臺、數據服務平臺、數據展現的前端平臺打通,然后通過前端的一些研發平臺或者 OA 流程對元數據的變動做評審,只有評審通過后才能正常上線。

目前國家對數據安全高度重視,數據安全相關的法律法規也日趨嚴格。開展數據安全管理的思路,可以以個人客戶信息為中心,建立貫穿于數據全生命周期的安全治理體系。例如有數據安全治理相關的戰略組織架構和制度規范,在技術平臺方面有數據安全相關的敏感數據識別工具、數據庫防護系統、數據庫審計系統、數據防泄露 DLP 平臺以及隱私計算平臺。在數據安全治理的運營體系方面,包括數據資產的識別、數據安全的風險監測、數據安全的應急響應、企業內的培訓和宣貫等。

在數據全生命周期的不同階段對應的工具也不太一樣。例如在數據采集階段,有數據的分類分級、安全準入、元數據的管理、數據源的認證等。在數據交換階段,通過數據加密、數據脫敏、數據審計、數據水印、數據溯源等平臺工具來進行數據交換的安全管控。

數據的分類分級是數據安全治理的前提,企業內部開展數據安全治理工作,一般第一步都是要開展數據分類分級。基于一些行業標準來進行企業內部數據分類分級框架的建立,同時可以搭建數據分類分級平臺,對企業內部各類業務系統數據做敏感數據的識別,最終搭建數據資產門戶。基于數據分類分級進一步推進數據安全的風險識別、數據安全的防護規劃、數據安全的持續運營,以及敏感數據的申請等各類應用場景。

下面以集團內企業的數據共享實踐為例,介紹數據安全。例如一些央企,可能是跨業態的集團,包括港口子公司、銀行子公司、證券子公司、物流子公司等,開展數據共享的困難是非常大的。可以從組織內部的一些數據入手,包括集團內部的組織數據、員工數據、財務數據、供應商數據等,通過這些數據共享來對企業內部 OA、采購等各類平臺建設做支撐。

很多企業會和數據中臺結合去建設數據治理平臺。在大數據平臺建設框架里,元數據基于源頭系統做元數據的采集、數據地圖建設、數據血緣的解析等,然后通過數據標準、數據質量、數據模型等平臺進一步支持數據服務功能,并且最終支持前端的一些報表平臺、業務系統、機器學習等各類應用。

數據治理考核在不同企業的重視程度不太一樣,沒有嚴格的獎懲制度,很多業務部門配合度不高。所以數據治理是從上而下去推動,并且要開展數據治理的考核。例如有的部門一年到頭經常提數據問題或者投訴數據問題,但是本身又沒有配合數據治理工作,沒有制定相應的數據標準,沒有進行相應的數據質量監控,那么數據治理考核分就應該扣分。但如果有的部門問題很少,又主動配合制定一些規則和標準,那么就會有考核的加分,這就是獎懲制度的一些策略,可以結合各個企業的實際情況去開展。

最后介紹企業數據治理的一個典型框架。首先在頂層會有整個企業數據治理或者數字化轉型的目標愿景、指導原則、規劃實施路線和管理模式。同時在數據治理框架上,建設數據治理相關的組織架構、制度政策、管理流程和模板手冊。數據治理的管理模塊包括模型的管理、標準的管理、質量的管理、元數據的管理以及安全的管理。在底層平臺上通過數據模型平臺、數據管控平臺、數據安全運營平臺等,或者統稱為數據資產平臺進行整體的支撐。

下一篇:盤點數據治理十宗罪...