一數據中臺建設與架構

不能把數據中臺簡單看作一個項目或產品，建設數據中臺要從戰略、認知、組織保障等更高的層面做規劃。3.2節重點介紹的數據中臺建設方法論體系，是筆者們多年大數據領域從業經驗和多個數據中臺建設經驗的總結。希望這套數據中臺建設方法論可以起到指引作用，幫助企業結合自身特點，在戰略規劃牽引下，建立起一套可持續運行的中臺建設機制，從而加速企業在數字化轉型上的進展。

1.1持續讓數據用起來的價值框架數據中臺的使命就是持續讓數據用起來，它的一個根本性創新就是把“數據資產”作為一個基礎要素獨立出來，讓成為資產的數據作為生產資料融入業務價值創造過程，持續產生價值。數據中臺作為整個企業各個業務所需數據服務的提供方，通過自身的平臺能力和業務對數據的不斷滋養（業務數據化），會形成一套高效可靠的數據資產體系和數據服務能力（數據資產化和資產服務化）。這樣一來，當出現新的市場變化，需要構建新的前臺應用時，數據中臺可以迅速提供數據服務（服務業務化），從而敏捷地響應企業的創新。業務產生數據，數據服務業務，業務在陽，數據在陰，陰陽互補，形成閉環（見圖3-1）。

圖1-1業務與數據閉環

這個價值框架融入企業的運營活動中就能支撐數據中臺的組織地位：數據中臺必須擁有與企業的設計部門、制造部門、銷售部門等同樣重要的地位（見圖1-2）。

圖1-2　數據中臺的組織地位

數據中臺不是單純的技術疊加，不是一個技術化的大數據平臺，二者有本質區別。大數據平臺更關心技術層面的事情，包括研發效率、平臺的大數據處理能力等，針對的往往是技術人員；而數據中臺的核心是數據服務能力，要結合場景，比如精準營銷、風控等，通過服務直接賦能業務應用。數據中臺不僅面向技術人員，更需要面向多個部門的業務人員。這在建設過程中要特別注意，不論是由信息化部門牽頭還是由業務部門牽頭執行數據中臺項目，都需要在整個企業內部形成一張有共識的藍圖：數據是企業的戰略資產（見圖1-3）。圖1-3　數據是企業的戰略資產1.2數據中臺建設方法論

對于圖1-4所示的數據中臺建設方法論體系，需要從組織、保障、準則、內容、步驟5個層面全面考慮，以確保數據中臺建設和實施能如期完成。

1種戰略行動：把用數據中臺驅動業務發展定位為企業級戰略，全局謀劃。

2項保障條件：通過宣導統一組織間的數據認知，通過流程加速組織變革。

3條目標準則：將數據的可見、可用、可運營3個核心準則始終貫穿于中臺建設的全過程，保障建設在正確軌道上。

4套建設內容：通過技術體系、數據體系、服務體系、運營體系建設保證中臺建設的全面性和可持續性。

5個關鍵步驟：通過理現狀、立架構、建資產、用數據、做運營5個關鍵行動控制中臺建設關鍵節點的質量。

圖1-4　數據中臺建設方法論體系

1種戰略行動

建設數據中臺是為了支撐企業數字化、智能化升級，通過全局的維度支撐業務，讓企業在市場上更具競爭優勢，因此需要從公司戰略層面來規劃。在中臺建設過程中，會涉及所有相關業態、各塊資源的協調和推進，這都需要站在更高的層面來考慮。當然，具體在實施過程中，為了能快速迭代推進，也會采取從點到面的突破方法，從某個業務或者某個部門開始，初步構建看到成效再逐步推廣，但不影響其作為核心戰略的定位。

數據中臺要求整個企業共用一個數據技術平臺、共建數據體系、共享數據服務能力?，F實中，企業業務發展不均衡，各種部門墻導致共建、共享非常困難。數據中臺不僅是對技術架構的改變，還是對整個企業業務運轉模式的改變，需要企業在組織架構和資源方面給予支持，所以中臺是一個企業的戰略行動，絕非一個項目組或者一個小團隊就能做的。數據中臺牽涉企業的方方面面，你要了解整個企業的業務情況，進行業務梳理，還要有技術的支撐、組織的支撐，否則很難推動落實。

啟動數據中臺一定要有戰略規劃，首先它是“一把手工程”，只有企業的一把手才有這種推力來推動數據中臺的建設。數據中臺的目標是實現企業經營的數據化、精細化、智能化，本質是建設一套可持續讓企業數據用起來的機制。需要有相應的組織、制度、流程、資源的保障。

2種保障條件

數據中臺是企業級戰略，支撐企業數字化轉型，涉及企業的方方面面，數據中臺戰略的執行必然伴隨著企業組織保障以及整個企業數據意識的提升。

首先，中臺戰略的實施需要有組織保障。與組織對應的是資源與責任，數據中臺由誰來建、誰來維護、誰來經營、業務需求怎么承接、效果怎么衡量等問題，已經超出IT的范疇，需要企業更高層面對應的組織來保障。圖3-5所示為中臺組織架構。企業實施數據中臺戰略，必須首先建立起數據中臺團隊，讓他們負責中臺的建設、維護、運營以及業務的承接和中臺服務的推廣等。另外，有了中臺，企業的運轉模式發生了變化，業務、后臺、管理等團隊也需要有對應的組織人員與中臺團隊對接。

圖1-5　中臺組織架構其次，中臺戰略的實施需要提升全企業的數據意識。數據文化是數據中臺戰略不可或缺的部分，數據中臺的推進依賴于數據文化的建立，反過來，企業數據文化的沉淀又是數據中臺建設的產出。大家談論大數據比較多，但經常對什么是大數據感到困惑，在筆者們看來，大數據和當年提的“互聯網+”一樣，是一種考慮問題的思維方式，用互聯網思維、數據思維來發現問題，解決問題。因此，用一句話來概括數據文化：用數據說話?？梢詮囊韵路矫鎭硖嵘龜祿庾R：

（1）數據采集意識建議盡可能采集一切業務觸點數據，隨著技術的發展，采集的方式也越來越多，比如業務數據、日志數據、埋點數據、網絡數據、傳感器數據等。了解可能的數據采集方式，盡可能把有價值的數據通過技術手段采集下來。

（2）數據標準化意識之所以需要進行數據治理，是因為數據不標準。如果希望數據發揮價值，就需要保持統一數據標準的意識，只有不同部門、不同業務對于數據的理解都一致了，才能減少因數據口徑不一導致的資源浪費。

（3）數據使用意識未來數據應用會涉及方方面面，每一個業務環節都有可能用到數據的能力，所以所有企業員工都要掌握數據可能的使用方式，知道在實際業務操作過程中應該怎么使用數據。另外，數據能夠找出人類經驗和人腦無法找出的關聯關系，比如啤酒和尿布的故事，就要求打破原有經驗，用更高的數據意識來發揮數據對于業務的價值。

（4）數據安全意識還必須具備數據安全意識，有些數據即使對業務有價值，但由于侵犯隱私或者觸犯法律等因素，也不能用，或者需要換一種合法的方式使用。企業員工需要有足夠的數據安全定級、脫敏的意識。

3項目標準則

數據中臺的3項目標準則——可見、可用、可運營，不僅可作為企業在數據中臺建設中的具體建設指引，也可用來客觀評估目前建設內容的完整度。

這3項目標準則的評估細則見表3-1。

表3-1　數據中臺建設目標評估表

4套建設內容

建設內容是數據中臺建設的核心，是可呈現的產出物，也是數據中臺價值所在，前面的戰略措施、保障條件、目標準則都是為了建設內容能夠順利產出并且可以持續發揮價值。筆者認為數據中臺的建設內容包含技術體系、數據體系、服務體系、運營體系四大體系，通過這四套體系的建設實現數據中臺讓數據持續用起來的目標。技術體系是基礎支撐，就像是骨架一樣撐起整個數據中臺。數據體系就像是數據中臺的血肉，數據中臺對外呈現的主要內容就是數據體系。服務體系是數據中臺的價值所在，就像數據中臺的靈魂一樣，激活靜止的骨架、血肉，讓中臺動起來，發揮價值。運營體系是數據中臺的守護者，通過運營體系保證整個中臺的健康、持續運轉。

1.技術體系

技術體系分兩個層面：大數據存儲計算技術和數據中臺工具技術組件，技術體系主要關注點是工具技術組件。大數據存儲計算技術，比如Hadoop、Spark、Flink、Greenplum、Elasticsearch、Redis、Phoenix等，相對標準，企業只需要進行合理選型即可，并不需要自己建設，而且技術難度很大，企業也不太可能自己建設。數據中臺工具技術組件包括數據匯聚、數據開發、數據資產管理、數據服務管控等。數據中臺是企業制定和實施數據匯聚、建模和加工規范的場所，也是企業數據體系存儲管理的工具平臺。通過工具化、產品化、可視化降低技術門檻，讓數據能夠被更方便地加工使用。

2.數據體系

數據體系是數據中臺建設、管理、使用的核心要素，全企業的數據通過各種方式匯聚到數據中臺，在數據中臺按照一定的建模方式進行加工，形成企業的數據資產體系。數據中臺始終圍繞著數據體系的建設和使用，讓數據體系盡可能完整、準確、使用廣泛。不同企業的業務不同、數據不同，數據體系的內容不同，但是建設的方法和對工具的要求是相似的，需要在中臺工具和建設方法的基礎上針對不同的企業建設不同的數據體系。

3.服務體系

數據中臺與大數據平臺的最主要區別是數據能更方便地以服務化的方式支撐業務，而這是通過數據中臺服務體系實現的。服務體系是通過數據中臺的服務組件能力，把數據變為一種服務能力，比如客戶微觀畫像服務、信用評估服務、風險預警服務等，讓數據能夠方便地參與到業務中并為業務帶去價值。筆者經常聽到的數字化轉型、數據化經營，就是讓業務決策通過數據而不是僅憑經驗，需要的正是數據服務能力。每家企業的業務不同，對數據服務的訴求也不同，數據中臺無法產品化地提供企業所需的所有數據服務能力。數據中臺通過提供數據服務生成、發布、監控、管理功能，幫助企業逐個建立屬于自己的每一個數據服務，逐步完成企業數據服務體系的構建。

4.運營體系

運營體系是數據中臺得以健康、持續運轉的基礎。運營體系包括平臺流程規范執行監督、平臺資源占用的監管及優化推動、數據質量的監督及改進推動、數據價值的評估、數據服務的推廣、稽查排名等。其目標是讓平臺可以持續健康運轉，產生持續價值。數據中臺是個復雜工程，數據的匯聚、開發、管理、服務都是要持續進行的工作，如果沒有運營體系的保障，可能會導致后期的參與者無從下手，隨著時間的推移，數據的質量、服務的效率也會持續下降，進而導致中臺無法使用。數據中臺是一個持續的過程，一旦啟動，就不能暫停，更不能停止，而保障數據中臺持續高效運轉的就是這套運營體系。

5個關鍵步驟

數據中臺在具體落地實施時，要結合技術、產品、數據、服務、運營等5個方面，逐步開展相關的工作，在構建閉環時會多考慮基礎設施部分的能力。一旦閉環建設完成，就可以在各個環節不斷豐富能力，逐步成為數據應用的完整體系。根據筆者的實踐經驗，數據中臺的建設過程主要通過5個關鍵步驟來完成，如圖3-6所示。

圖1-6　中臺建設的5個關鍵步驟

1.理現狀

梳理企業的系統建設、已經擁有的數據以及業務特點等現狀，了解企業對數據中臺的認知，以及相應的數據文化建設情況。點對點地與業務部門、IT部門進行溝通，獲取企業的產品和服務信息，形成業務現狀調研報告，同時了解目前企業以怎樣的組織形態來保證客戶的服務能力。詳細調研目前企業的IT建設情況和業務數據沉淀情況，比如采用的什么數據庫、數據量、數據字段和更新周期等，以便后續更好地設計技術架構。

2.立架構

根據現狀形成整體的規劃藍圖，形成技術產品、數據體系、服務方式以及運營重點等相關的方案，梳理并確立各塊架構。企業信息架構經常談到的4A，即業務架構、技術架構、應用架構和數據架構都需要在這個階段進行確認。這4個架構具體介紹如下：

業務架構：保障數據中臺能夠適用于企業的業務運管模型和流程體系。

技術架構：主要是指技術體系中的數據基座，主要根據業務架構近遠期規劃，對數據的存儲和計算進行統一的選型。

應用架構：特指數據中臺應用架構，后面幾個關鍵步驟的內容所依賴的工具主要由數據中臺作為平臺應用來承接。

組織架構：主要是保證中臺項目的順利落地需要企業考慮的整體組織保障，其中的角色有業務人員、IT人員、供應商和相關負責人。

3.建資產

結合數據架構的整體設計，通過數據資產體系建設方法，幫助企業構建既符合場景需求又滿足數據架構要求的數據資產體系并實施落地。這個步驟涉及數據匯聚、數據倉庫建設、標簽體系建設以及應用數據建設，其中最關鍵的是標簽體系建設。所謂標簽體系是面向具體對象構建的全維度數據標簽，通過標簽體系可以方便地支撐應用，大數據的核心魅力和服務能力主要就體現在標簽體系的服務能力上。

4.用數據

從應用場景出發，將已經構建的數據資產通過服務化方式，應用到具體的業務中，發揮數據價值。將數據資產快速形成服務能力并與業務進行對接，在業務中產生數據價值，實現數據的服務化、業務化。在服務過程中，數據安全是不得不考慮的問題，哪些人能看到什么數字資產，能選擇什么類型的服務都是需要嚴格審核的。

5.做運營

數據應用于業務后，其產生的價值通過運營的能力不斷優化迭代，并讓更多的人感知到數據的價值點。數據中臺建設是一個持續建設和運營的過程，所謂持續建設和運營是指在架構基本穩定的情況下，不斷循環第3～5步，多方角色會圍繞核心KPI不斷挖掘數據和業務場景的結合點，不斷根據質量和價值兩個點來運營優化。企業通過多個組織之間的配合推進，會逐步形成企業特有的數據文化和認知，這是企業在數字化轉型中非常重要但很難跨越的點。1.3數據中臺架構

通過前面對數據中臺建設方法論體系的介紹，了解了數據中臺的行動、保障、準則、內容和步驟。這一節將讓大家了解數據中臺的總體架構、包含的模塊、模塊之間的關系以及運轉機制。

數據中臺的目標是讓數據持續用起來，通過數據中臺提供的工具、方法和運行機制，把數據變為一種服務能力，讓數據更方便地被業務所使用。圖3-7所示為數據中臺的總體架構圖，數據中臺是位于底層存儲計算平臺與上層的數據應用之間的一整套體系。數據中臺屏蔽掉底層存儲平臺的計算技術復雜性，降低對技術人才的需求，讓數據的使用成本更低。通過數據中臺的數據匯聚、數據開發模塊建立企業數據資產。通過資產管理與治理、數據服務把數據資產變為數據服務能力，服務于企業業務。數據安全管理、數據運營體系保障數據中臺可以長期健康、持續運轉。

1.數據匯聚

數據匯聚是數據中臺數據接入的入口。數據中臺本身幾乎不產生數據，所有數據來自于業務系統、日志、文件、網絡等，這些數據分散在不同的網絡環境和存儲平臺中，難以利用，很難產生業務價值。數據匯聚是數據中臺必須提供的核心工具，把各種異構網絡、異構數據源的數據方便地采集到數據中臺中進行集中存儲，為后續的加工建模做準備。數據匯聚方式一般有數據庫同步、埋點、網絡爬蟲、消息隊列等；從匯聚的時效性來分，有離線批量匯聚和實時采集。

2.數據開發

通過數據匯聚模塊匯聚到中臺的數據沒有經過處理，基本是按照數據的原始狀態堆砌在一起的，這樣業務還是很難使用。

圖1-7　數據中臺總體架構圖

數據開發是一整套數據加工以及加工過程管控的工具，有經驗的數據開發、算法建模人員利用數據加工模塊提供的功能，可以快速把數據加工成對業務有價值的形式，提供給業務使用。數據開發模塊主要面向開發人員、分析人員，提供離線、實時、算法開發工具，以及任務的管理、代碼發布、運維、監控、告警等一系列集成工具，方便使用，提升效率。

3.數據體系

有了數據匯聚、數據開發模塊，中臺已經具備傳統數據倉庫（后面簡稱：數倉）平臺的基本能力，可以做數據的匯聚以及各種數據開發，就可以建立企業的數據體系。之前說數據體系是中臺的血肉，開發、管理、使用的都是數據。大數據時代，數據量大，增長快，業務對數據的依賴也會越來越高，必須考慮數據的一致性和可復用性，垂直的、煙囪式的數據和數據服務的建設方式注定不能長久存在。不同的企業因業務不同導致數據不同，數據建設的內容也不同，但是建設方法可以相似，數據要統一建設，筆者建議數據按照貼源數據、統一數倉、標簽數據、應用數據的標準統一建設。

4.數據資產管理

通過數據體系建立起來的數據資產較為偏技術，業務人員比較難理解。資產管理是以企業全員更好理解的方式，把企業的數據資產展現給企業全員（當然要考慮權限和安全管控），數據資產管理包括對數據資產目錄、元數據、數據質量、數據血緣、數據生命周期等進行管理和展示，以一種更直觀的方式展現企業的數據資產，提升企業的數據意識。

5.數據服務體系

前面利用數據匯聚、數據開發建設企業的數據資產，利用數據管理展現企業的數據資產，但是并沒有發揮數據的價值。數據服務體系就是把數據變為一種服務能力，通過數據服務讓數據參與到業務，激活整個數據中臺，數據服務體系是數據中臺存在的價值所在。企業的數據服務是千變萬化的，中臺產品可以帶有一些標準服務，但是很難滿足企業的服務訴求，大部分服務還是需要通過中臺的能力快速定制。數據中臺的服務模塊并沒有自帶很多服務，而是提供快速的服務生成能力以及服務的管控、鑒權、計量等功能。

6.運營體系和安全管理

通過前面的數據匯聚、數據開發、數據體系、數據資產管理、數據服務體系，已經完成了整個數據中臺的搭建和建設，也已經在業務中發揮一定的價值。運營體系和安全管理是數據中臺得以健康、持續運轉的基礎，如果沒有它們，數據中臺很可能像個一般項目一樣，會在搭建起平臺、建設部分數據、嘗試一兩個應用場景之后而止步，無法正常地持續運營，不能持續發揮數據的應用價值。這也就完全達不到建設數據中臺的目標。