近來，數(shù)據(jù)管理領(lǐng)域的熱詞也是不少，從國外來的數(shù)據(jù)編織?(Data Fabric)?和數(shù)據(jù)網(wǎng)格?(Data Mesh) 是兩個經(jīng)常被提及的新話題。為了跟上新技術(shù)的步伐，我也對這倆概念做了一點功課，和大家一起探討。

Gartner給數(shù)據(jù)編織(Data Fabric) 的定義如下：

Data Fabric is a design concept that serves as an integrated layer of data and connecting processes.

數(shù)據(jù)編織是一個設計概念，表示數(shù)據(jù)和連接進程的集成層。

Forrester給出數(shù)據(jù)網(wǎng)格 (Data Mesh)?的定義如下：

Data Mesh is a decentralized sociotechnical approach to share, access?and manage analytical data in complex and large-scale environments within or across organizations.

數(shù)據(jù)網(wǎng)格是一種分散的社會技術(shù)方法，用于在組織內(nèi)部或跨組織的各種復雜和大規(guī)模環(huán)境中，共享、訪問和管理分析數(shù)據(jù)。

只看概念，是不是看不出啥端倪了，還是上圖吧！

數(shù)據(jù)編織?(Data Fabric) 把數(shù)據(jù)從生產(chǎn)到利用的過程分為3個層次：

最底層是記錄系統(tǒng)，也就是各個業(yè)務系統(tǒng)的數(shù)據(jù)庫。

中間層是通過?ETL?等手段轉(zhuǎn)移到按照數(shù)據(jù)庫類型分類的各個數(shù)據(jù)庫中。

最上層是一個集成層，面向用戶提供數(shù)據(jù)產(chǎn)品，注意實際的數(shù)據(jù)是保存在中間層的。

那么數(shù)據(jù)網(wǎng)格呢？還是上圖：

數(shù)據(jù)網(wǎng)格?(Data Mesh) 把數(shù)據(jù)從生產(chǎn)到利用的過程也是分為3個層次：

最底層是記錄系統(tǒng)，也就是各個業(yè)務系統(tǒng)的數(shù)據(jù)庫。

中間層是一個數(shù)據(jù)湖，數(shù)據(jù)在湖中做了物理集中。

最上層是一個，額...，沒有最上層? 最上層其實是基于數(shù)據(jù)湖中數(shù)據(jù)形成的數(shù)據(jù)產(chǎn)品。

問題來了……數(shù)據(jù)編織 (Data Fabric)?和數(shù)據(jù)網(wǎng)格?(Data Mesh)?的區(qū)別在哪里呢？

一個主要區(qū)別就是這個第二層，在數(shù)據(jù)編織中，數(shù)據(jù)是按數(shù)據(jù)庫類型經(jīng)過轉(zhuǎn)換的規(guī)整數(shù)據(jù)，有點Bill Inmon理念數(shù)據(jù)倉庫的意思吧，數(shù)據(jù)是處理加工過的，方便給頂層調(diào)用。而數(shù)據(jù)網(wǎng)格的數(shù)據(jù)是全部在數(shù)據(jù)湖中，還都是原始格式存儲，有點Kimball理念數(shù)據(jù)倉庫的意思吧。

有什么本質(zhì)區(qū)別嗎?

有的人說有，有的說沒有，確實要先把“本質(zhì)區(qū)別”是什么定義清楚，才好說是否有本質(zhì)區(qū)別。個人感覺，就是兩種不同的解決方案。中國人講的數(shù)據(jù)中臺概念，可以和他們放在一起并列，或者說各家的中臺解決方案，不是數(shù)據(jù)編織，就是數(shù)據(jù)網(wǎng)格。

如果還有人說老外的數(shù)據(jù)編織和數(shù)據(jù)網(wǎng)格沒有你說的那么膚淺， 我覺得他們都是主數(shù)據(jù)+數(shù)據(jù)倉庫+數(shù)據(jù)中臺+數(shù)據(jù)資產(chǎn)管理平臺做一個有機的大集成，不過路徑不同。

你覺得呢？歡迎留言探討！

后續(xù)：

在翻譯數(shù)據(jù)網(wǎng)格這個概念的時候，注意到其定義里面，用了一個單詞叫Socio-technical，特意翻了詞典叫社會技術(shù)系統(tǒng)，這個詞是什么意思呢，特意查詢了百度百科：

建立社會技術(shù)系統(tǒng)，是指為了提高組織效益而采用同時集中于技術(shù)和社會兩方面的變革，使他們相互關(guān)系最佳配合的一種有計劃的組織變革方法。這種方法強調(diào)組織的技術(shù)和人的因素的最佳結(jié)合，強調(diào)對完成工作的方法重新設計。它是現(xiàn)代組織變革活動中較為流行的方法之一。

都說每個單位就是一個小社會，這個社會不就是要管理嗎！這個定義告訴我們數(shù)據(jù)管理可不僅僅是技術(shù)，不僅僅是IT系統(tǒng)，要用社會的方法，建章立制，有管理辦法，有管理流程，有數(shù)據(jù)管理的專門角色和團隊，再輔以先進的IT系統(tǒng)才能把數(shù)據(jù)管理好！