如果讓當(dāng)前數(shù)據(jù)工程領(lǐng)域的人繪制一個(gè)“現(xiàn)代”數(shù)據(jù)架構(gòu)，幾乎肯定會(huì)得到如下結(jié)果：

這樣的數(shù)據(jù)架構(gòu)格局反映了基于系統(tǒng)的架構(gòu)設(shè)計(jì)方法。這種基于系統(tǒng)的架構(gòu)有何現(xiàn)代感？它已經(jīng)存在了將近 10 年，并且沒(méi)有太大變化。

該架構(gòu)由三個(gè)主要組件組成：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)集市（或服務(wù)層）。

首先是數(shù)據(jù)倉(cāng)庫(kù)。之所以需要擁有獨(dú)立的數(shù)據(jù)集市和數(shù)據(jù)湖，是因?yàn)槟切﹤鹘y(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)無(wú)法擴(kuò)展以滿足置于其上的不同的、相互競(jìng)爭(zhēng)的應(yīng)用場(chǎng)景。數(shù)據(jù)集市的出現(xiàn)是因?yàn)橹醒霐?shù)據(jù)倉(cāng)庫(kù)無(wú)法擴(kuò)展以滿足最終用戶的不同應(yīng)用和高并發(fā)需求。然后是數(shù)據(jù)湖，因?yàn)槠髽I(yè)數(shù)據(jù)倉(cāng)庫(kù)無(wú)法存儲(chǔ)和處理大數(shù)據(jù)（在數(shù)量、種類和速度方面）。

創(chuàng)建數(shù)據(jù)湖和數(shù)據(jù)集市是為了滿足當(dāng)時(shí)數(shù)據(jù)工程領(lǐng)域的實(shí)際需求。即使在今天，數(shù)據(jù)倉(cāng)庫(kù)仍然無(wú)法支持企業(yè)的所有不同應(yīng)用。即使對(duì)于較新的云數(shù)據(jù)倉(cāng)庫(kù)也是如此。這些不同的數(shù)據(jù)系統(tǒng)導(dǎo)致了孤立的數(shù)據(jù)，這對(duì)于企業(yè)從中獲取商業(yè)價(jià)值和安全治理具有非常大的挑戰(zhàn)。

用不同的方式思考數(shù)據(jù)

為了優(yōu)化數(shù)據(jù)架構(gòu)，我們需要停止根據(jù)現(xiàn)有類型的系統(tǒng)來(lái)思考數(shù)據(jù)，例如遺留數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市和數(shù)據(jù)湖。這樣做沒(méi)有幫助，而且會(huì)在企業(yè)數(shù)據(jù)環(huán)境中引入人為的邊界。

以下是關(guān)于如何以不同方式思考數(shù)據(jù)的建議。在較高級(jí)別，可以將所有企業(yè)數(shù)據(jù)分組到以下邏輯數(shù)據(jù)區(qū)域：

因此，讓我們開(kāi)始按照這樣的區(qū)域而不是系統(tǒng)來(lái)考慮數(shù)據(jù)。舊的基于系統(tǒng)的思維將繼續(xù)讓數(shù)據(jù)工程專業(yè)人員陷入舊的做事方式，并將繼續(xù)分裂數(shù)據(jù)格局。采用新的思維模式，無(wú)需將數(shù)據(jù)區(qū)域劃分為不同的孤立數(shù)據(jù)系統(tǒng)，例如：

當(dāng)像單一平臺(tái)可以打破這些孤島時(shí)，為什么還要用以前的思路思考呢？我們不應(yīng)考慮系統(tǒng)問(wèn)題，而應(yīng)考慮為所有企業(yè)數(shù)據(jù)建立一個(gè)單一平臺(tái)，例如

構(gòu)建企業(yè)統(tǒng)一的數(shù)據(jù)平臺(tái)

我們通常使用多個(gè)名稱來(lái)標(biāo)識(shí)數(shù)據(jù)的位置和使用方式，包括操作數(shù)據(jù)存儲(chǔ) (ODS)、企業(yè)信息工廠 (CIF)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市等等。每個(gè)術(shù)語(yǔ)代表在企業(yè)內(nèi)對(duì)數(shù)據(jù)進(jìn)行分組的不同方式。但不幸的是，今天那些不同的數(shù)據(jù)組代表了不同的數(shù)據(jù)系統(tǒng)。讓我們開(kāi)始根據(jù)區(qū)域（或數(shù)據(jù)類型）而不是系統(tǒng)來(lái)考慮數(shù)據(jù)。

企業(yè)數(shù)據(jù)架構(gòu)的目標(biāo)絕不是將數(shù)據(jù)格局拆分為多個(gè)不同的系統(tǒng)，特別是拆分為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市和數(shù)據(jù)湖。我們需要停止做一些事情，因?yàn)椤八麄兛偸悄菢幼觥保⒅匦滤伎嘉覀冋谂ν瓿傻氖虑椤Ｎ覀兊哪繕?biāo)應(yīng)該是為企業(yè)的所有數(shù)據(jù)建立一個(gè)統(tǒng)一的平臺(tái)，例如，如下所示：

這樣的數(shù)據(jù)平臺(tái)可以支持所有的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、數(shù)據(jù)工程、數(shù)據(jù)交換、數(shù)據(jù)應(yīng)用程序和數(shù)據(jù)科學(xué)的應(yīng)用場(chǎng)景，我們可以將數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市和數(shù)據(jù)湖整合到一個(gè)平臺(tái)中。

大多數(shù)“云”數(shù)據(jù)倉(cāng)庫(kù)都是 20 多年前設(shè)計(jì)的，并且已經(jīng)遷移到云端。他們無(wú)法真正利用云的可擴(kuò)展性。而那些最近設(shè)計(jì)的系統(tǒng)不提供完整的企業(yè)數(shù)據(jù)管理體驗(yàn)，提供治理、符合 ACID 的交易、實(shí)時(shí)數(shù)據(jù)共享、完全托管服務(wù)等。現(xiàn)在是時(shí)候開(kāi)始以不同的方式思考我們的數(shù)據(jù)了。