元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡言之，元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)。

這個定義很難懂？請看以下兩篇文章。關(guān)于元數(shù)據(jù)，全網(wǎng)最通俗易懂的文章！元數(shù)據(jù)管理—企業(yè)數(shù)據(jù)治理的基礎(chǔ)

— 01 —企業(yè)數(shù)據(jù)治理的現(xiàn)狀與問題

企業(yè)架構(gòu)理論體系中，數(shù)據(jù)架構(gòu)始終是企業(yè)架構(gòu)的核心組成部分。TOGAF企業(yè)架構(gòu)框架定義了數(shù)據(jù)架構(gòu)位于業(yè)務(wù)架構(gòu)與基礎(chǔ)技術(shù)架構(gòu)之間，通過數(shù)據(jù)架構(gòu)的治理實(shí)現(xiàn)的業(yè)務(wù)和應(yīng)用的有效斜街。數(shù)據(jù)架構(gòu)基線

• 數(shù)據(jù)架構(gòu)梳理
• 數(shù)據(jù)架構(gòu)優(yōu)化
• 數(shù)據(jù)實(shí)體關(guān)系
• 概念數(shù)據(jù)模型
• 邏輯數(shù)據(jù)模型
• 物理數(shù)據(jù)模型

數(shù)據(jù)架構(gòu)關(guān)系

• 業(yè)務(wù)流程與數(shù)據(jù)流向
• 業(yè)務(wù)功能/數(shù)據(jù)關(guān)系矩陣
• 應(yīng)用/數(shù)據(jù)關(guān)系矩陣
• 數(shù)據(jù)架構(gòu)展現(xiàn)與變更管理平臺

數(shù)據(jù)管理

• 數(shù)據(jù)分布管理
• 數(shù)據(jù)質(zhì)量管理
• 數(shù)據(jù)容量管理
• 數(shù)據(jù)遷移……

企業(yè)數(shù)據(jù)資產(chǎn)管理的常見問題

• 數(shù)據(jù)架構(gòu)失控
• 元數(shù)據(jù)管理混亂
• 數(shù)據(jù)標(biāo)準(zhǔn)缺失
• 數(shù)據(jù)質(zhì)量參差不齊
• 數(shù)據(jù)增長無序
• 數(shù)據(jù)安全問題突出

問題集中于系統(tǒng)變更頻繁、積木式迭代、煙囪式建設(shè)：

一、企業(yè)的IT系統(tǒng)經(jīng)歷了數(shù)據(jù)量高速膨脹的時期，但大多數(shù)據(jù)企業(yè)最初沒有對數(shù)據(jù)架構(gòu)重視，導(dǎo)致企業(yè)海量的、分散在不同角落，企業(yè)無法從統(tǒng)一的業(yè)務(wù)視角去概覽整個企業(yè)內(nèi)部的數(shù)據(jù)信息。暴露出來的只是一個個獨(dú)立的系統(tǒng)，系統(tǒng)與系統(tǒng)之間的關(guān)系、標(biāo)準(zhǔn)數(shù)據(jù)從哪里獲取都無從知曉。

二、傳統(tǒng)企業(yè)的數(shù)據(jù)資產(chǎn)問題歸根到底是由于企業(yè)中對企業(yè)數(shù)據(jù)缺少統(tǒng)一而有力的組織、制度、流程的管控，引起的“數(shù)據(jù)孤島”問題。

— 02 —企業(yè)數(shù)據(jù)運(yùn)營的常見問題

企業(yè)數(shù)據(jù)運(yùn)營中經(jīng)常遇到的各種各樣問題，如下圖：

• 怎樣快速找到想要的數(shù)據(jù)：已存在系統(tǒng)，有哪些關(guān)鍵業(yè)務(wù)數(shù)據(jù)？它們在哪里？報表A指標(biāo)值怎么算出來的？原始數(shù)據(jù)從哪得到的？
• 數(shù)據(jù)標(biāo)準(zhǔn)如何定義：關(guān)鍵業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)的業(yè)務(wù)定義？它們的數(shù)據(jù)結(jié)構(gòu)是怎樣的？同一實(shí)體在不同系統(tǒng)中的命名規(guī)則及其他屬性一致？同一實(shí)體與本系統(tǒng)或其他系統(tǒng)對象是否存在依賴關(guān)系？具體的依賴關(guān)系描述是怎么樣的？
• 如何梳理出上下游關(guān)系：隨著業(yè)務(wù)快速發(fā)展，數(shù)據(jù)生產(chǎn)鏈路逐漸變長，生產(chǎn)關(guān)系越來越復(fù)雜，如何準(zhǔn)確高效的梳理出數(shù)據(jù)間、任務(wù)間的血緣關(guān)系，識別出關(guān)鍵生產(chǎn)鏈路？
• 數(shù)據(jù)治理靠什么來驅(qū)動：如何驅(qū)動資源治理、規(guī)范治理等，以及如何衡量治理效果？
• 數(shù)據(jù)資產(chǎn)的管理問題：海量的數(shù)據(jù)資產(chǎn)的歸屬、分級分類，識別隱私數(shù)據(jù)等管理問題如何解決？一旦對象定義發(fā)生變化，其他開發(fā)團(tuán)隊(duì)會不會有影響？數(shù)據(jù)實(shí)體所有者是誰？誰作過修改或變更？

這些問題，或許元數(shù)據(jù)管理能夠幫助到您！

— 03 —元數(shù)據(jù)管理對數(shù)據(jù)運(yùn)營的重要性

元數(shù)據(jù)管理是數(shù)據(jù)治理工作是重重之重，為什么企業(yè)內(nèi)部的數(shù)據(jù)質(zhì)量總是不高？其實(shí)只要有數(shù)據(jù)存在就有數(shù)據(jù)質(zhì)量問題存在。但是也可以通過一個有效的管理流程來提高企業(yè)數(shù)據(jù)質(zhì)量，其中最核心的核心就是元數(shù)據(jù)的管理。

元數(shù)據(jù)是企業(yè)中用來描述數(shù)據(jù)的數(shù)據(jù)。它可理解為比一般意義的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù)，不再僅僅表示數(shù)據(jù)的類型、名稱、值等信息，它可以進(jìn)一步提供數(shù)據(jù)的上下文描述信息，比如數(shù)據(jù)的所屬域、取值范圍、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則，甚至是數(shù)據(jù)的來源。在數(shù)據(jù)分析中，元數(shù)據(jù)可以幫助DW管理員和DW開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)。元數(shù)據(jù)提供企業(yè)數(shù)據(jù)DNA 。

• 有用的數(shù)據(jù)在哪里
• 提供一份數(shù)據(jù)結(jié)構(gòu)定義和元素的詳細(xì)示意圖
• 數(shù)據(jù)來龍去脈、關(guān)系
• 數(shù)據(jù)質(zhì)量審計(jì)
• 減少數(shù)據(jù)冗余性，增加數(shù)據(jù)共享,
• 使應(yīng)用開發(fā)過程更有效
• 參照性、引用性、血緣分析、影響分析、變化分析...
• 利用數(shù)據(jù)解決企業(yè)問題的能力

?— 04 —元數(shù)據(jù)管理范圍和目標(biāo)

一般而言，就數(shù)據(jù)倉庫或者大數(shù)據(jù)平臺中的元數(shù)據(jù)可以按不同的維度分為技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)、操作元數(shù)據(jù)等，元數(shù)據(jù)管理的范圍大致如下三個方面：

元數(shù)據(jù)源：元數(shù)據(jù)源數(shù)據(jù)倉庫和數(shù)據(jù)平臺中的數(shù)據(jù)實(shí)體定義和結(jié)構(gòu)信息。數(shù)據(jù)接口：生產(chǎn)系統(tǒng)和操作型系統(tǒng)中采集到數(shù)據(jù)倉庫或者數(shù)據(jù)平臺中的各中數(shù)據(jù)接口信息。

報表展現(xiàn)（BI）：報表展現(xiàn)的相關(guān)指標(biāo)和統(tǒng)計(jì)口徑。

數(shù)據(jù)集成（ETL）：數(shù)據(jù)匯總、處理和分析的數(shù)據(jù)集成相關(guān)信息。

元數(shù)據(jù)管理目標(biāo)— 05 —元數(shù)據(jù)管理系統(tǒng)

元數(shù)據(jù)系統(tǒng)整體分為接收層，服務(wù)層，存儲層和應(yīng)用層。左右兩側(cè)分別是主要接入方和應(yīng)用方，接入方主要包括了大數(shù)據(jù)引擎、管理工具、開發(fā)平臺及工具，應(yīng)用方主要包括數(shù)據(jù)地圖、開發(fā)平臺、治理平臺等。

• 接入層：適配不同元數(shù)據(jù)生產(chǎn)方，轉(zhuǎn)換成標(biāo)準(zhǔn)定義，輸出全種類實(shí)體、關(guān)系變更消息。
• 服務(wù)層：基于存儲層提供單點(diǎn)、復(fù)雜查詢服務(wù)，基于分析引擎提供分析服務(wù)。
• 存儲層：基于圖模型的實(shí)體、關(guān)系的存儲與查詢，支持統(tǒng)計(jì)與分析能力。
• 應(yīng)用層：提供數(shù)據(jù)資產(chǎn)地圖、數(shù)據(jù)搜索、全鏈路血緣等功能。

基于元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)資產(chǎn)搜索能力對各類數(shù)據(jù)建立數(shù)據(jù)索引，方便搜索引擎快速找到這些數(shù)據(jù)，同時搜索引擎提供了根據(jù)相關(guān)性、元信息完善度、依賴數(shù)量、運(yùn)營規(guī)則進(jìn)行智能排序，幫助用戶用戶快速找到所需數(shù)據(jù)。

在這個過程中，用戶的點(diǎn)擊率、負(fù)反饋率等操作行為數(shù)據(jù)反饋給搜索引擎，利用這些用戶行為數(shù)據(jù)，可以優(yōu)化搜索索引和排序規(guī)則。元數(shù)據(jù)系統(tǒng)提供了全鏈路血緣功能，提供實(shí)時血緣查詢能力，解決數(shù)據(jù)來源不容易確定、難以評估數(shù)據(jù)變動造成的影響等問題。元數(shù)據(jù)中的血緣關(guān)系在數(shù)據(jù)生產(chǎn)加工、數(shù)據(jù)治理中也有廣泛的應(yīng)用場景。下圖是通過一個簡單的例子介紹血緣是如何構(gòu)建起來的。主要會使用到元數(shù)據(jù)中表示關(guān)系的屬性，例如輸入、輸出、綁定、關(guān)聯(lián)等。

除了上面應(yīng)用場景外，元數(shù)據(jù)還有以下應(yīng)用場景：

• 元數(shù)據(jù)查詢：開發(fā)平臺、指標(biāo)模型管理、BI工具等通過元數(shù)據(jù)服務(wù)查詢庫表信息。
• 資產(chǎn)管理：通過系統(tǒng)采集的元數(shù)據(jù)信息，對數(shù)據(jù)資產(chǎn)進(jìn)行集中管理，設(shè)置生命周期、安全等級等關(guān)鍵屬性。
• 影響分析：支持查詢當(dāng)前節(jié)點(diǎn)全部下游，支持變更通知模塊根據(jù)影響范圍進(jìn)行變更消息的發(fā)送。
• 價值評估：數(shù)據(jù)資產(chǎn)價值評估模型通過元數(shù)據(jù)中心提供的豐富的元數(shù)據(jù)得以落地。

?—?06 —元數(shù)據(jù)給企業(yè)帶來的收益

提供一份企業(yè)級的詳細(xì)應(yīng)用、數(shù)據(jù)定義和元素的詳細(xì)地圖，有利于企業(yè)的數(shù)據(jù)應(yīng)用人員進(jìn)行數(shù)據(jù)分析。

制定企業(yè)元數(shù)據(jù)標(biāo)準(zhǔn)，減少數(shù)據(jù)冗余性，增加數(shù)據(jù)共享，使應(yīng)用開發(fā)過程更有效，開發(fā)費(fèi)用更低、避免異構(gòu)結(jié)構(gòu)定義、提高不同工具之間定義的重復(fù)利用率。

• 幫助用戶理解數(shù)據(jù)來龍去脈、關(guān)系及相關(guān)屬性，統(tǒng)一所有報表的統(tǒng)計(jì)口徑，減少數(shù)據(jù)沖突。
• 數(shù)據(jù)血緣分析，為數(shù)據(jù)分析提供直觀的數(shù)據(jù)處理先后邏輯，協(xié)助提升數(shù)據(jù)質(zhì)量。
• 數(shù)據(jù)影響分析，幫助用戶識別數(shù)據(jù)實(shí)體會影響的相關(guān)處理過程和報表，有利于增強(qiáng)企業(yè)運(yùn)營效率、規(guī)避錯誤及風(fēng)險。
• 通過元數(shù)據(jù)變更，自始自終確保元數(shù)據(jù)的準(zhǔn)確性和權(quán)威性。

元數(shù)據(jù)管理能夠增強(qiáng)數(shù)據(jù)理解，可以架起企業(yè)內(nèi)業(yè)務(wù)與IT部門之間的一座橋梁，無論是企業(yè)的業(yè)務(wù)部門還是IT部門，很少能完整的拿出一套企業(yè)各項(xiàng)數(shù)據(jù)的業(yè)務(wù)含義、口徑、技術(shù)標(biāo)準(zhǔn)、分布情況等的說明，使用元數(shù)據(jù)管理可以自動化的獲取整個企業(yè)的數(shù)據(jù)業(yè)務(wù)含義，幫助理解數(shù)據(jù)，增加分析的敏捷性。使用元數(shù)據(jù)管理系統(tǒng)能夠方便內(nèi)部管理、審計(jì)或外部監(jiān)管的需求追溯業(yè)務(wù)指標(biāo)、報表的數(shù)據(jù)來源和加工過程，追述數(shù)據(jù)的來源；同時還可以針對企業(yè)內(nèi)部、外部的數(shù)據(jù)需求，快速建立業(yè)務(wù)與技術(shù)之間的銜接，敏捷應(yīng)對企業(yè)用數(shù)需求。