01 數(shù)據(jù)資產(chǎn)的生產(chǎn)和消費現(xiàn)狀—— 孤島就在那里！在大數(shù)據(jù)時代，企業(yè)數(shù)據(jù)資產(chǎn)的生產(chǎn)和消費，實際現(xiàn)狀大概是這樣的。一方面，每個業(yè)務(wù)部門都產(chǎn)生并存儲了大量的數(shù)據(jù)。這些數(shù)據(jù)存儲在不同的系統(tǒng)中。每個業(yè)務(wù)部門都是數(shù)據(jù)的生產(chǎn)者。另外一方面，每個業(yè)務(wù)部門都有使用數(shù)據(jù)來幫助進行更智能決策,每個業(yè)務(wù)部門也都是數(shù)據(jù)的消費者。作為數(shù)據(jù)的消費者們，希望可以自由地消費全公司的數(shù)據(jù)資產(chǎn)。因為只有聯(lián)合了多個相關(guān)部門的數(shù)據(jù)進行分析，才能夠得到更為有用的結(jié)果。但是，部門墻、數(shù)據(jù)孤島總是客觀存在的，讓數(shù)據(jù)消費者去方便地消費全公司的數(shù)據(jù)有很多困難。一方面，數(shù)據(jù)是由各個業(yè)務(wù)部門產(chǎn)生的。絕大部分公司，并不存在一個覆蓋全公司各個業(yè)務(wù)部門的數(shù)據(jù)資產(chǎn)的地方。所以數(shù)據(jù)消費者不知道有哪些數(shù)據(jù)可以消費。

另一方面，數(shù)據(jù)的使用也帶來了授權(quán)和監(jiān)管的需求。如果數(shù)據(jù)包含了敏感信息，比如個人信用卡信息，那么法律法規(guī)就限制數(shù)據(jù)只能在有限情況下被特定的人訪問。無論是授權(quán)給合適的人，還是監(jiān)督誰訪問了這些數(shù)據(jù)，都是數(shù)據(jù)被使用的必然要求。而這些要求伴隨數(shù)據(jù)生產(chǎn)者，在公司內(nèi)部很碎片化。

02 數(shù)據(jù)資產(chǎn)的消費和監(jiān)督—— 魚和熊掌可兼得？
那么我們怎么樣一方面能夠讓數(shù)據(jù)更好更快更方便的在全公司范圍內(nèi)被發(fā)現(xiàn)被消費，另外一方面又能夠做到數(shù)據(jù)的所有使用和訪問都需要授權(quán)和監(jiān)督？為了兼顧全公司范圍內(nèi)的數(shù)據(jù)資產(chǎn)能被方便的使用，和數(shù)據(jù)資產(chǎn)的使用被有效授權(quán)和監(jiān)管這兩個不同的要求，有的公司采用了這樣一個辦法：專門成立一個部門，集中管理全公司范圍內(nèi)各個業(yè)務(wù)部門產(chǎn)生的所有數(shù)據(jù)，給需要的人提供訪問，并做好授權(quán)和監(jiān)督?，F(xiàn)實中這個想法很難行得通。這個部門，既不是數(shù)據(jù)的生產(chǎn)者，也不是數(shù)據(jù)的消費者，但是卻需要對數(shù)據(jù)的訪問和監(jiān)督負(fù)責(zé)。這問題就很大了。責(zé)權(quán)不匹配，是各個部門互相推卸責(zé)任的好幫手。可以想象如果出問題的話，到底是數(shù)據(jù)生產(chǎn)者的鍋，數(shù)據(jù)消費者的鍋還是這個部門的鍋，沒人能搞得清楚了。其實，退一步海闊天空，數(shù)據(jù)治理是有可能從一個較小的范圍啟動起來的。市場部門需要銷售部門的每周的數(shù)據(jù)匯總，那就先把這個數(shù)據(jù)給提取出來，形成API，讓市場部門去用。這樣就在市場部門（數(shù)據(jù)消費者）和銷售部門（數(shù)據(jù)生產(chǎn)者）之間，建立了一條線，并且有了一個公共的數(shù)據(jù)“每周銷售匯總”。這個數(shù)據(jù)就像一個手機充電頭，不但市場部門可以“充電”，別的部門將來也可以用。隨著時間推移，這樣的充電頭就會越來越多，就會形成一個小型充電站，數(shù)據(jù)治理也就基本完成了。這是一種需求驅(qū)動的敏捷方法，不過，敏捷的方式需要敏捷的工具。

這個工具應(yīng)該支持?jǐn)?shù)據(jù)生成者迅速地把自家數(shù)據(jù)形成一個Schema，定義好有哪些字段，字段的具體含義。并且定義好哪些組織，什么人可以訪問，消費者看到以后，就可以直接使用。

03?敏捷的，分散式的數(shù)據(jù)治理—— 到底怎么搞？

也許有人要問，有沒有一個辦法可以提供一種靠譜的，持續(xù)發(fā)展的數(shù)據(jù)治理方式，幫助企業(yè)在生產(chǎn)者和消費者之間牽線搭橋，既能方便消費者很好地跨部門使用數(shù)據(jù)，又能夠讓數(shù)據(jù)的訪問經(jīng)過合理的授權(quán)，接受監(jiān)督呢？下面就給您答案！2022亞馬遜云科技re:Invent全球大會上發(fā)布了一個新服務(wù)Amazon DataZone。Amazon DataZone為數(shù)據(jù)治理提供了一套可行的思路：敏捷的，分散式的數(shù)據(jù)治理。具體來說，Amazon DataZone提供了一個平臺和對應(yīng)的工具，方便數(shù)據(jù)的生產(chǎn)者和消費者建立連接，讓消費者對生產(chǎn)者的數(shù)據(jù)進行使用。在實際使用過程中，并不需要全公司全方位進行數(shù)據(jù)治理。只需要找到一個生產(chǎn)者和一個消費者，這一對生產(chǎn)者和消費者就可以先創(chuàng)建項目和API，讓消費者把數(shù)據(jù)在監(jiān)管的情況下先用起來。下圖展示了Amazon DataZone的主要組件。
這樣一來，就不需要有一個跨部門全公司范圍內(nèi)全方位的治理了。生產(chǎn)者依然是數(shù)據(jù)的擁有者，消費者依然是向生產(chǎn)者請求數(shù)據(jù)的使用。生產(chǎn)者和消費者所對應(yīng)的信息被聚集到Amazon DataZone這個統(tǒng)一的平臺下。Amazon DataZone的另外一個重要的功能是提供了一個統(tǒng)一的門戶，潛在的數(shù)據(jù)消費者可以很容易的在這里對所有在Amazon DataZone上的數(shù)據(jù)資產(chǎn)進行搜索。下圖展示了Amazon DataZone的數(shù)據(jù)門戶。

繼續(xù)上面這個例子。如果有更多團隊想使用已有的數(shù)據(jù)資產(chǎn)，他只需要在Amazon DataZone的門戶搜索并發(fā)現(xiàn)這個數(shù)據(jù)資產(chǎn)。然后就可以訂閱并加入消費者的行列。第三者的使用并不需要生產(chǎn)者再次重復(fù)之前創(chuàng)立數(shù)據(jù)資產(chǎn)和對應(yīng)API的所有步驟了。下圖展示了潛在數(shù)據(jù)消費者，如何利用數(shù)據(jù)門戶進行搜索。
如果說Amazon DataZone提供的功能讓一對生產(chǎn)者和消費者建立連接，是一個企業(yè)內(nèi)部的兩個點被連成了一條線的話，那么第三者通過Amazon DataZone發(fā)現(xiàn)數(shù)據(jù)資產(chǎn)并使用，則可以讓線變成網(wǎng)。用的時間就來，不斷有生產(chǎn)者和消費者加入，不斷有額外的消費者建立額外的鏈接，數(shù)據(jù)治理也就越來越成規(guī)?；l(fā)展了。這就是敏捷的，分散式的數(shù)據(jù)治理。在這里，Amazon DataZone扮演了重要角色。一方面，Amazon DataZone只是一個數(shù)據(jù)資產(chǎn)發(fā)布和管理的平臺，實際對數(shù)據(jù)資產(chǎn)進行管理的依然是數(shù)據(jù)的生產(chǎn)者。另外一方面，Amazon DataZone事實上聚集了越來越多的數(shù)據(jù)資產(chǎn)的信息。同時Amazon DataZone也提供了讓第三方潛在數(shù)據(jù)消費者去發(fā)現(xiàn)這些數(shù)據(jù)資產(chǎn)，從而能夠使用這些數(shù)據(jù)資產(chǎn)的能力。這兩方面能力的結(jié)合，是Amazon DataZone解決數(shù)據(jù)治理過程中萬里長征不知道從何開始，也不知道怎么樣完成的核心手段。Amazon DataZone通過這些能力，為企業(yè)敏捷的，分散式的數(shù)據(jù)治理提供了一個平臺。在這個平臺下，企業(yè)可以通過敏捷的增量模式，逐漸將公司的所有數(shù)據(jù)資產(chǎn)在一個統(tǒng)一的平臺下實現(xiàn)數(shù)據(jù)治理，讓數(shù)據(jù)治理的萬里長征真正成功。Amazon DataZone這個服務(wù)，值得每個需要數(shù)據(jù)治理的企業(yè)去嘗試。對于企業(yè)來說，數(shù)據(jù)可能來源于數(shù)據(jù)倉庫、數(shù)據(jù)湖、流數(shù)據(jù)、關(guān)系數(shù)據(jù)庫、第三方系統(tǒng)等多個地方，亞馬遜云科技提供了一個叫Amazon Glue工具，可以輕松地發(fā)現(xiàn)、集成來自多個數(shù)據(jù)源的數(shù)據(jù)，并且可以對數(shù)據(jù)進行提取、轉(zhuǎn)換、加載(ETL）。用戶可以按照自己的需求，把各個數(shù)據(jù)源的數(shù)據(jù)進行編目，形成數(shù)據(jù)目錄（Data Catalog）。

有了數(shù)據(jù)目錄和組織結(jié)構(gòu)做基礎(chǔ)，每個部門就可以根據(jù)需要來創(chuàng)建屬于自己的業(yè)務(wù)術(shù)語，元數(shù)據(jù)，從而建立自己的數(shù)據(jù)資產(chǎn)。
數(shù)據(jù)資產(chǎn)一旦發(fā)布出去（當(dāng)然，需要設(shè)置好權(quán)限），別人就可以查詢了，Amazon DataZone 專門提供了一個門戶（Portal）對數(shù)據(jù)資產(chǎn)進行查詢，非常方便。

利用這種方式，可以迅速地對接生產(chǎn)者和消費者，把數(shù)據(jù)資產(chǎn)創(chuàng)建起來，馬上投入使用，從而實現(xiàn)快速響應(yīng)業(yè)務(wù)需求，應(yīng)對市場變化。沉淀下來的數(shù)據(jù)資產(chǎn)還可以繼續(xù)被別的消費者使用，隨著這樣的數(shù)據(jù)資產(chǎn)越來越多，大家都看到了業(yè)務(wù)價值，數(shù)據(jù)治理就會走上正軌。