把數據想象成實物資產,如大型超市的庫存商品,如果沒有進行商品盤點,形成分類索引,記錄每件商品的價格、生產日期、供應商、產地、物流、倉儲、銷售等信息,對于商品管理將一團混亂。數據資產的管理同樣如此。我們對數據資產進行識別與盤點,了解數據的存儲分布和加工鏈路;按業務視角建立數據資產主題分類和目錄,形成數據層面業務與技術的鏈接,是數據認責、
數據標準建立、
數據質量管理、數據安全定級及權限管理等一系列數據管理工作的基礎。
和實物資產一樣,數據資產也需要通過盤點,對必要的信息進行記錄。這時,就要介紹元數據的概念了。類比超市商品,我們會對其分類、用途、產地、生產日期、保管員等方面的信息進行描述與記錄。對于數據,我們同樣也會對其分類、來源、分布、采集日期、管理責任人等信息進行記錄。這些用于“描述數據的數據”,我們就稱之為“元數據”。按照描述的不同視角,我們又將元數據分為業務元數據、技術元數據、管理元數據。
1業務元數據:從業務視角描述數據,如數據的主題分類、概念模型、業務含義、業務規則等,形成統一的數據語言。
2技術元數據:從技術的視角描述數據,如數據所在的存儲位置(庫、表、字段)、字段長度、字段類型、SQL腳本、血緣關系(ETL過程、接口映射)等。
3管理元數據:從管理的視角描述數據,如數據的管理部門、管理責任人等。
數據資產盤點方法
對數據進行盤點,一方面通過業務視角的自上而下演繹,確保數據可以按照業務的視角進行組織(需要用到業務元數據,對數據進行主題分類、屬性分類、含義描述);另一方面結合技術視角自下而上歸納(需要用到技術元數據,對數據的存儲分布、血緣關系等進行描述),并通過建立目錄中數據項與系統信息項的映射關系,保證每個數據資產項對應可以在真實的信息系統中查找到。
不過也如超市庫管員會用傳送帶、掃碼槍這些輔助工具進行盤點一樣,高度復雜的銀行業務以及龐雜的信息系統,單純依靠手工方式對各個庫表結構、ETL關系等技術元數據進行采集十分耗費時間和人力,需要采用一些技術工具實現自動化采集、版本管理,這類工具平臺也通常包含數據地圖、血緣分析、影響分析等元數據的應用功能。
數據資產盤點內容
基于不同的數據來源,根據不同的劃分策略,盤點的內容側重會有所不同:
▲基礎數據:需要盤點數據分布在哪些IT系統,區分其中哪些是需要跨系統流轉、共享使用且變化緩慢的
主數據信息,哪些是與IT系統定位相匹配的業務流程交易信息。
▲衍生數據:需要盤點數據的不同應用場景,比如監管、統計、內部管理等等。一方面根據衍生數據基于不同使用場景進行分類,另一方面通過盤點,梳理對基礎數據的使用熱度。
▲外部數據:需要盤點外部數據需求、數據類型、數據來源、采集頻率、獲取成本、數據質量以及
數據價值評估方式等。
(部分內容來源網絡,如有侵權請聯系刪除)