元數(shù)據(jù)作為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，蘊含了大量企業(yè)的知識，元數(shù)據(jù)管理的真實目的也是企業(yè)知識的管理，希望關(guān)于組織數(shù)據(jù)的方方面面信息都能集中保持和展示在一個平臺上，方便大家一致地了解和使用這些信息。

傳統(tǒng)的元數(shù)據(jù)收集依靠人工收集，元數(shù)據(jù)的完整性和準(zhǔn)確性一致是一個難題，設(shè)計態(tài)和實現(xiàn)態(tài)不一致，導(dǎo)致元數(shù)據(jù)平臺價值不高。“主動”的元數(shù)據(jù)平臺，通過元數(shù)據(jù)的自動采集確保用戶看到的都是實現(xiàn)態(tài)的最準(zhǔn)確的元數(shù)據(jù)。當(dāng)然“主動的”元數(shù)據(jù)平臺不僅僅是自動采集元數(shù)據(jù)。本文總結(jié)“主動”的元數(shù)據(jù)平臺應(yīng)具有五大特點，對元數(shù)據(jù)管理平臺選型很有指導(dǎo)意義：

元數(shù)據(jù)湖

可編程智能機器人

嵌入式協(xié)作插件

數(shù)據(jù)流程自動化

反向元數(shù)據(jù)

--------以下正文--------

主動元數(shù)據(jù)平臺的剖析

主動元數(shù)據(jù)是Gartner提及的最新類別分類，它也是當(dāng)今增強數(shù)據(jù)目錄的一次變革性飛躍。

Gartner取消了元數(shù)據(jù)管理解決方案魔力象限，取而代之的是主動元數(shù)據(jù)市場指南，這一改變對元數(shù)據(jù)管理產(chǎn)生了巨大的影響。這會有什么不同嗎？由于這一變化，Gartner 將主動元數(shù)據(jù)作為未來的一個新方向類別。

與出現(xiàn)在數(shù)據(jù)生態(tài)系統(tǒng)中的任何新類別一樣，這一通告伴隨著大量的支持聲、一些善意的懷疑聲以及大量的問題。

主動元數(shù)據(jù)的準(zhǔn)確描述是什么？

主動元數(shù)據(jù)與我們以前見過的增強數(shù)據(jù)目錄以及其他技術(shù)有什么不同？

主動元數(shù)據(jù)平臺看起來是什么樣的？

我之前寫過篇什么是主動的元數(shù)據(jù)平臺及其關(guān)鍵特征的文章。今天，我想從這個抽象的討論中更進一步，同時描繪出一個主動元數(shù)據(jù)平臺的樣子，剖析關(guān)鍵的組成部分，并給出一些主動元數(shù)據(jù)的實際使用案例。

主動元數(shù)據(jù)平臺是什么樣子的？

一種主動元數(shù)據(jù)平臺的架構(gòu)（圖片來自Atlan）

在我看來，主動元數(shù)據(jù)平臺有5個關(guān)鍵組成部分：

元數(shù)據(jù)湖：一個統(tǒng)一的存儲庫，以原始和處理過的格式存儲各種元數(shù)據(jù)，構(gòu)建在開放的API之上并由知識圖譜進行驅(qū)動。

可編程智能機器人：一個允許團隊創(chuàng)建可定制的機器學(xué)習(xí)或數(shù)據(jù)科學(xué)算法來驅(qū)動智能化的框架。

嵌入式協(xié)作插件：由共享元數(shù)據(jù)層統(tǒng)一提供的一個集合，將數(shù)據(jù)工具與每個數(shù)據(jù)團隊的日常工作流程無縫集成。

數(shù)據(jù)流程自動化：一種通過模仿人類的決策過程來管理數(shù)據(jù)生態(tài)系統(tǒng)的方式，提供構(gòu)建、部署和管理工作流程自動化機器人。

反向元數(shù)據(jù)：相比于獨立的數(shù)據(jù)目錄，可以通過編排使相關(guān)的元數(shù)據(jù)隨時隨地提供給需要的最終用戶。

1. 元數(shù)據(jù)湖：單一的元數(shù)據(jù)中央存儲

幾個季度前，我寫過一篇關(guān)于元數(shù)據(jù)湖的概念的文章：一個統(tǒng)一的存儲庫，以原始和深度處理的各類形式存儲各種各樣的元數(shù)據(jù)，可用來指導(dǎo)我們已知的場景和未知的場景。

主動元數(shù)據(jù)建立在主動查找、豐富、清點和使用所有元數(shù)據(jù)的前提下，使傳統(tǒng)“被動”技術(shù)變成真正的行動導(dǎo)向。

元數(shù)據(jù)湖作為任何主動元數(shù)據(jù)平臺的基石，有兩個關(guān)鍵特征：

開放式API和接口：元數(shù)據(jù)湖通過開放式API需要具備易于訪問能力，而不僅僅是作為一個數(shù)據(jù)存儲。這使得在現(xiàn)代數(shù)據(jù)堆棧的每個階段都可以非常容易地利用單個元數(shù)據(jù)存儲來驅(qū)動各種場景，例如發(fā)現(xiàn)、可觀察性和血緣關(guān)系。

由知識圖譜提供動力：當(dāng)數(shù)據(jù)資產(chǎn)之間的所有連接都活躍起來時，元數(shù)據(jù)的真正潛力就會被釋放。知識圖譜架構(gòu)是最有希望使元數(shù)據(jù)連接變得生動的候選者--它已經(jīng)為世界上大型的互聯(lián)網(wǎng)公司提供助力，如谷歌、Facebook和Uber。

2. 可編程智能機器人

我們正在快速接近一個元數(shù)據(jù)本身正在成為大數(shù)據(jù)的世界，理解這些元數(shù)據(jù)是創(chuàng)建現(xiàn)代數(shù)據(jù)管理生態(tài)系統(tǒng)的關(guān)鍵。

元數(shù)據(jù)智能有可能影響數(shù)據(jù)生命周期的各個方面。它可以通過解析SQL查詢?nèi)罩荆詣觿?chuàng)建列級別血緣。它可以自動識別PII（個人識別信息）數(shù)據(jù)以保護個人信息。它可以通過自動檢測數(shù)據(jù)異常值和異常，捕捉到我們之前捕捉到不良數(shù)據(jù)。在過去幾年中，元數(shù)據(jù)在這方面出現(xiàn)了一些創(chuàng)新，“增強型”數(shù)據(jù)目錄變得越來越流行。

然而，在所有的炒作中，我相信如何把智能應(yīng)用于數(shù)據(jù)管理，到目前為止，有一點是錯誤的---任何事情上沒有銀彈。

每個公司都是獨一無二的。每個行業(yè)都是獨一無二的。每個團隊的數(shù)據(jù)都是獨一無二的。

在最近與一位數(shù)據(jù)負責(zé)人的通話中，他檢討其數(shù)據(jù)質(zhì)量異常檢測的工具：“有時，這個工具會向我們發(fā)送有效的關(guān)于架構(gòu)變化和質(zhì)量問題的告警。而有的時候，它無法進行有效的告警，這真的讓我們的數(shù)據(jù)工程團隊感到沮喪。”

我并不是怪罪這個工具。事實上，每個機器學(xué)習(xí)算法的輸出都是輸入的訓(xùn)練數(shù)據(jù)的函數(shù)。沒有任何一種算法能夠?qū)崿F(xiàn)神奇地創(chuàng)建上下文、識別異常并實現(xiàn)智能數(shù)據(jù)管理的愿望--并且在每個行業(yè)、每個公司和每個場景中100%地取得成功。雖然我希望有，但世上沒有銀彈。

這就是為什么我相信，主動元數(shù)據(jù)平臺智能化的未來不是一個能神奇地解決我們所有問題的單一算法。相反，它是一個允許團隊創(chuàng)建可編程的智能機器人框架，可以輕松地根據(jù)不同的上下文和場景進行定制。

以下是可編程智能機器人的幾個例子：

隨著安全和合規(guī)性要求成為主流，公司將不得不遵循更多的規(guī)則--例如針對醫(yī)療保健數(shù)據(jù)的HIPAA和針對銀行業(yè)務(wù)的BCBS 239等行業(yè)特定規(guī)則，或歐洲GDPR和加利福尼亞CCPA等特定區(qū)域規(guī)則。機器人可根據(jù)每家公司的法規(guī)來識別和標(biāo)記敏感列。

對數(shù)據(jù)集有特定命名習(xí)慣的公司可以創(chuàng)建機器人并根據(jù)預(yù)設(shè)規(guī)則自動組織、分類和標(biāo)記它的數(shù)據(jù)生態(tài)系統(tǒng)。

公司可以采用開箱即用的可觀察性和數(shù)據(jù)質(zhì)量算法，并根據(jù)他們的數(shù)據(jù)生態(tài)系統(tǒng)和場景進行定制。

可編程智能的用例是無窮無盡的，我對未來的發(fā)展感到非常興奮！

3. 嵌入式協(xié)作插件

如今，數(shù)據(jù)團隊比以往任何時候都更加多樣化。他們由數(shù)據(jù)工程師、分析師、分析工程師、數(shù)據(jù)科學(xué)家、產(chǎn)品經(jīng)理、業(yè)務(wù)分析師、公民數(shù)據(jù)科學(xué)家等組成。

這些多樣化的數(shù)據(jù)團隊使用同樣多樣化的數(shù)據(jù)工具，從 SQL、Looker 和 Jupyter 到 Python、Tableau、dbt 和 R。添加大量的協(xié)作工具（如 Slack、JIRA 和電子郵件），這讓數(shù)據(jù)專業(yè)人士的生活成了一場噩夢。

由于數(shù)據(jù)團隊的基礎(chǔ)多樣性，數(shù)據(jù)工具需要被設(shè)計成與每個團隊的日常工作流程無縫融合。

這正是嵌入式協(xié)作的想法變得活躍起來的原因。嵌入?yún)f(xié)作不是從一個工具跳到另一個工具，而是無論數(shù)據(jù)團隊成員生活在什么地方，工作都能正常進行并減少摩擦和上下文切換。

嵌入?yún)f(xié)作可能是什么樣子的（圖片來自Atlan）

以下是嵌入式協(xié)作的幾個例子：

如果你可以通過獲得鏈接時請求訪問數(shù)據(jù)資產(chǎn)，就像谷歌文檔一樣，所有者可以在Slack上獲得請求，并立即批準(zhǔn)或拒絕它，那會怎么樣？

如果在檢查數(shù)據(jù)資產(chǎn)并需要報告問題時，你可以觸發(fā)一個與工程團隊的JIRA工作流程完美結(jié)合的支持請求，那會怎么樣？

主動元數(shù)據(jù)平臺中的操作層將使嵌入式協(xié)作最終活躍起來。我將此層視為現(xiàn)代數(shù)據(jù)堆棧的Zapier--由共享元數(shù)據(jù)層統(tǒng)一，并允許團隊為自己獨特的工作流程定制應(yīng)用程序。

4. 數(shù)據(jù)處理自動化

幾年前，一種名為機器人過程自動化（RPA）的新工具類別席卷了企業(yè)界。從UiPath來看，RPA是“一種軟件技術(shù)，可以輕松構(gòu)建、部署和管理軟件機器人，模擬與數(shù)字系統(tǒng)和軟件交互的人類行為”。

隨著數(shù)據(jù)編織、數(shù)據(jù)網(wǎng)格和DataOps等概念成為我們思考數(shù)據(jù)平臺的主流方式，它們將引發(fā)對數(shù)據(jù)流程自動化（DPA）的需求--這是一種使構(gòu)建、部署和管理工作流自動化簡單化的機器人，它將模擬人類決策過程或行動來管理數(shù)據(jù)生態(tài)系統(tǒng)。

你是否曾因周一早上的儀表盤加載速度而感到沮喪？或者更糟糕的是，在月末被AWS的高額賬單嚇到？

有了主動元數(shù)據(jù)平臺，不難想象這兩種情況都不會再發(fā)生。一個真正的主動元數(shù)據(jù)平臺可以向相鄰的數(shù)據(jù)管理工具推薦參數(shù)化指令，用于資源分配和作業(yè)管理等操作。

例如：通過利用各種來源的元數(shù)據(jù)--比如頂級BI儀表盤以及BI工具的峰值使用時間、數(shù)據(jù)管道工具的歷史數(shù)據(jù)管道運行統(tǒng)計數(shù)據(jù)，以及倉庫的計算性能--你可以想象一個場景，在這個場景中，主動元數(shù)據(jù)平臺不僅推薦用于擴展Snowflake倉庫的參數(shù)，也會實際上利用DPA來分配倉庫資源。

5. 反向元數(shù)據(jù)

我相信過去幾年最偉大的事情之一是真正的“現(xiàn)代數(shù)據(jù)棧”公司和創(chuàng)業(yè)者的崛起，他們相信驚人的用戶體驗勝過一切。

雖然舊時代都是關(guān)于“價值捕獲”，但新一代創(chuàng)業(yè)者專注于“價值創(chuàng)造”-- 最終用戶體驗是第一位的。現(xiàn)代數(shù)據(jù)棧公司越來越有興趣真正地相互合作，以整合其產(chǎn)品路線圖，創(chuàng)造更好的用戶體驗。

主動元數(shù)據(jù)是真正解鎖這些合作關(guān)系的關(guān)鍵，而我認為“反向元數(shù)據(jù)”將改變游戲。

反向元數(shù)據(jù)可以讓最終用戶隨時隨地都能使用相關(guān)的元數(shù)據(jù)，以幫助他們更好地完成工作。

例如：在Atlan，我們與Looker的反向元數(shù)據(jù)集成直接在Looker中顯示“上下文”（比如誰擁有儀表板、度量定義和文檔等等）。

Looker中的反向元數(shù)據(jù)?(GIF來自Atlan)

主動元數(shù)據(jù)平臺可以幫助在現(xiàn)代數(shù)據(jù)堆棧中編排有用的元數(shù)據(jù)，使堆棧中的所有各種工具更加有用--無需關(guān)注于每個工具之間的自定義集成。

總結(jié)

在我看來，Gartner報告中最具預(yù)言性的一句話是：“獨立的元數(shù)據(jù)管理平臺將從增強的數(shù)據(jù)目錄轉(zhuǎn)向元數(shù)據(jù)‘隨處可見’的編排平臺。”

我們對主動元數(shù)據(jù)的研究才剛剛開始，我們共同努力找出它在當(dāng)今和未來的數(shù)據(jù)生態(tài)系統(tǒng)中可能扮演的角色。我希望這篇文章能給未來帶來一些啟示，讓它從抽象變成更真實的東西。?