作為數(shù)據(jù)行業(yè)的一名從業(yè)者，不僅要關(guān)注當(dāng)前數(shù)據(jù)技術(shù)發(fā)展，還要關(guān)注數(shù)據(jù)技術(shù)未來發(fā)展趨勢。

為什么？哎，這個(gè)社會(huì)內(nèi)卷太厲害，牛人一大堆，稍有不小心，懈怠，沒有核心競爭力，就會(huì)失業(yè)，丟飯碗，但仍然還要面對各種貸款，各種壓力。

2022年初再回顧2021年的時(shí)候，發(fā)現(xiàn)數(shù)據(jù)技術(shù)界有個(gè)名詞非常的火熱-[data fabric]，這不是在中國，而是在國外，國內(nèi)呢，數(shù)據(jù)中臺(tái)火的一塌糊涂。

到處都在談數(shù)據(jù)中臺(tái)，面試的時(shí)候，制定計(jì)劃會(huì)議的時(shí)候，搞數(shù)據(jù)戰(zhàn)略的時(shí)候，圓桌論壇上，到處都在談。今天本文就不會(huì)再說這個(gè)話題了，來聊聊data fabric。

今天從以下四個(gè)方面來聊一聊:

data fabric起源

互聯(lián)網(wǎng)世界，每隔10年，就會(huì)出? 現(xiàn)一個(gè)風(fēng)口。15年前是數(shù)據(jù)倉庫，5年前的大數(shù)據(jù)和數(shù)據(jù)湖，國內(nèi)幾天數(shù)據(jù)湖才熱起來。今天有一個(gè)名叫Data Fabric的數(shù)據(jù)架構(gòu)浮出水面，開始引發(fā)人們的廣泛關(guān)注。我們先來看看，當(dāng)前的數(shù)據(jù)架構(gòu)和十多年前有什么不同。在數(shù)據(jù)倉庫時(shí)代，企業(yè)的數(shù)據(jù)量還不算大，一般幾十個(gè)TB, 數(shù)據(jù)倉庫的建設(shè)一般采用中心化的方式，將各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)，從各個(gè)系統(tǒng)抽取出來，清洗轉(zhuǎn)換后，加載到數(shù)據(jù)倉庫里。由于架構(gòu)相對簡單，各種數(shù)據(jù)模型比較直觀，相關(guān)的數(shù)據(jù)集成的工具軟件及元數(shù)據(jù)管理的重要性并不突出，很多人選擇了忽視這一部分。而到了大數(shù)據(jù)時(shí)代，由于非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入，數(shù)據(jù)量大了，企業(yè)擁有上PB的數(shù)據(jù)如家常便飯一樣。但數(shù)據(jù)架構(gòu)還是集中式，工具軟件及元數(shù)據(jù)還是沒有被廣泛地應(yīng)用，并且還不成熟。今天已經(jīng)到了一個(gè)云的時(shí)代，大家都在搞云原生。在企業(yè)內(nèi)部，有各種業(yè)務(wù)系統(tǒng)，數(shù)據(jù)倉庫（Data Warehouse）和很多針對各個(gè)部門的數(shù)據(jù)集市（Data Mart），大數(shù)據(jù)平臺(tái)( Big Data Platform)和數(shù)據(jù)湖（Data Lake）往往也是不可缺少。除了本地私有云平臺(tái)，往往很多應(yīng)用也會(huì)放到公有云平臺(tái)之上，構(gòu)建混合云，包括豬豬現(xiàn)在公司也是混合云的方式。在這樣一個(gè)混合云，且分布式的數(shù)據(jù)架構(gòu)中，如果我們?yōu)榱双@取數(shù)據(jù)，還要把數(shù)據(jù)搬移復(fù)制，集中到某一個(gè)地方去，其成本將會(huì)非常之大。因此，是否有辦法既不需要搬動(dòng)數(shù)據(jù)，允許數(shù)據(jù)還是保留在各個(gè)應(yīng)用系統(tǒng)里，又能讓數(shù)數(shù)據(jù)科學(xué)家們和使用者，在需要的時(shí)候能夠非常方便快捷地獲取這些數(shù)據(jù)呢？于是，一個(gè)名為Data Fabric 的數(shù)據(jù)架構(gòu)因此而誕生了。

到底什么是Data Fabric

Forrester是這樣說的：“Data Fabric是以一種智能和安全的并且是自服務(wù)的方式，動(dòng)態(tài)地協(xié)調(diào)分布式的數(shù)據(jù)源，跨數(shù)據(jù)平臺(tái)地提供集成和可信賴的數(shù)據(jù)，支持廣泛的不同應(yīng)用的分析和使用場景”。Gartner是這樣說的：Gartner defines data fabric as a design concept that serves as an integrated layer (fabric) of data and connecting processes. A data fabric utilizes continuous analytics over existing, discoverable and inferenced metadata assets to support the design, deployment and utilization of integrated and reusable data across all environments, including hybrid and multi-cloud platforms.Gartner 將數(shù)據(jù)結(jié)構(gòu)定義為一種設(shè)計(jì)概念，它充當(dāng)數(shù)據(jù)和連接過程的集成層（結(jié)構(gòu)）。數(shù)據(jù)結(jié)構(gòu)利用對現(xiàn)有、可發(fā)現(xiàn)和推斷的元數(shù)據(jù)資產(chǎn)的持續(xù)分析，以支持跨所有環(huán)境（包括混合云和多云平臺(tái)）設(shè)計(jì)、部署和利用集成和可重用數(shù)據(jù)。?Data Fabric 利用人和機(jī)器的能力來訪問數(shù)據(jù)或在適當(dāng)?shù)那闆r下支持其整合。它不斷地識(shí)別和連接來自不同應(yīng)用程序的數(shù)據(jù)，以發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。洞察力支持重新設(shè)計(jì)的決策，通過快速訪問和理解提供比傳統(tǒng)數(shù)據(jù)管理實(shí)踐更多的價(jià)值。

??

看到這里，大家有沒有發(fā)現(xiàn)很難表述清楚，在和別人反復(fù)溝通和討論，有人這樣說：“使需要用數(shù)據(jù)的人，隨時(shí)能夠知道到他要的數(shù)據(jù)在哪里，數(shù)據(jù)質(zhì)量如何，他可以如何方便地獲取他需要的數(shù)據(jù)。Data Fabric 的主要作用：把正確的數(shù)據(jù)，在正確的時(shí)間，傳送給正確的人。通過 Data Fabric , 對的人可以從對的地點(diǎn)，在對的時(shí)間，獲取對的數(shù)據(jù)。

架構(gòu)是什么樣

data fabric架構(gòu)：

Gartner: An ideal, complete data fabric design with its many components.Data Fabric 可以同時(shí)給業(yè)務(wù)和技術(shù)團(tuán)隊(duì)帶來明確的價(jià)值。從業(yè)務(wù)層面來看，由于企業(yè)能更容易地獲得高質(zhì)量的數(shù)據(jù)，從而能更快和更精確地獲得企業(yè)數(shù)據(jù)洞察。數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員能夠花更多時(shí)間在數(shù)據(jù)分析上，而不是去尋找和準(zhǔn)備數(shù)據(jù)，可以給數(shù)據(jù)使用者提供完美的自我服務(wù)的數(shù)據(jù)消費(fèi)體驗(yàn)。優(yōu)質(zhì)和全面的數(shù)據(jù)，可以避免由于數(shù)據(jù)訪問的限制而造成的數(shù)據(jù)分析偏差，從而可以提升企業(yè)數(shù)據(jù)的合規(guī)性和安全性。從技術(shù)層面來說，由于較少的數(shù)據(jù)復(fù)制的次數(shù)和數(shù)量，從而減少了數(shù)據(jù)集成的工作，方便維護(hù)數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)，也減少了硬件架構(gòu)和存儲(chǔ)的開銷。?由于減少了數(shù)據(jù)復(fù)制和大大優(yōu)化了數(shù)據(jù)流程，加快并簡化了數(shù)據(jù)處理過程，從而通過實(shí)施自動(dòng)化的整體數(shù)據(jù)策略，減少了數(shù)據(jù)訪問管理的工作。

要實(shí)現(xiàn)上述的Data Fabric 的目標(biāo)，至少需要四個(gè)方面的基本能力：1.能夠在數(shù)據(jù)之間建立虛擬鏈接，簡化數(shù)據(jù)訪問的模式，從而減少數(shù)據(jù)復(fù)制的數(shù)量。2. 需要建立一個(gè)企業(yè)的數(shù)據(jù)目錄，并需要利用AI技術(shù)，自動(dòng)化地實(shí)現(xiàn)基于語義和知識(shí)的分析，理解數(shù)據(jù)及其業(yè)務(wù)含義，并建立知識(shí)圖譜， 從而使數(shù)據(jù)目錄變得智能化和自動(dòng)化。能夠讓需要數(shù)據(jù)的用戶，隨時(shí)了解他所需要的數(shù)據(jù)在哪里、數(shù)據(jù)質(zhì)量如何等。3. 建立自動(dòng)化的數(shù)據(jù)平臺(tái)，并且允許用戶通過自服務(wù)的方式，訪問并獲取數(shù)據(jù)。4. 通過提供整體的自動(dòng)化策略，確保數(shù)據(jù)安全，增加數(shù)據(jù)的隱私和權(quán)限保護(hù)，并提高數(shù)據(jù)的質(zhì)量。

各個(gè)廠商的解決方案

Data Fabric 目前是一個(gè)IT熱點(diǎn)，眾多國際著名的 IT公司包括IBM、informatica和 Telend等，均推出了針對 Data Fabric 的解決方案。其中，IBM 公司的Cloud Pak for Data針對上述Data Fabric 必須具備的四個(gè)基本能力，都能給予很好的支持。IBM早在十多年前，就已經(jīng)推出了有關(guān)數(shù)據(jù)虛擬化的方案Data Virtualization, 目前這個(gè)方案的功能日趨豐富。IBM的數(shù)據(jù)目錄Watson Knowledge Catalog是業(yè)界最強(qiáng)大的智能數(shù)據(jù)目錄解決方案，其中大量使用了IBM企業(yè)級 AI和機(jī)器學(xué)習(xí)的技術(shù)，使數(shù)據(jù)目錄智能化和自動(dòng)化，并具有知識(shí)圖譜的能力，方便業(yè)務(wù)用戶使用。IBM數(shù)據(jù)目錄方案內(nèi)嵌了數(shù)據(jù)安全和數(shù)據(jù)隱私保護(hù)的功能，確保在數(shù)據(jù)共享的過程中能符合GDPR的數(shù)據(jù)隱私保護(hù)要求。同時(shí)，IBM作為一個(gè)老牌的專業(yè)數(shù)據(jù)集成的供應(yīng)商，其數(shù)據(jù)復(fù)制和數(shù)據(jù)集成的自服務(wù)能力也日趨完善。IBM Cloud Pak for Data 應(yīng)該是目前業(yè)界應(yīng)對 Data Fabric 功能最為完善的數(shù)據(jù)平臺(tái)。

Data Fabric 這個(gè)概念在國際上已經(jīng)熱起來了，但目前國內(nèi)的IT用戶知道的人還不多。20年前數(shù)據(jù)倉庫在國外興起后，用了6到8年才傳到中國。10年前大數(shù)據(jù)的概念在國外興起后，不到三年就被中國用戶廣泛接受。目前這個(gè) Data Fabric 概念，中國可以用多快的速度接受并加以應(yīng)用呢？我們拭目以待！