DataOps作為一種企業提升數據分析質量和效率的方法論隨之興起。基于DataOps，企業數據中臺可以實現更高效的運轉，優化數據質量、加快生產周期，實現更好的數據運營、管理、應用。那么，運用DataOps如何能夠最大化幫助數據團隊運營數據，與業務高效協同？DataOps適合什么樣的企業和團隊？對于DataOps未來的演進方向是什么？

自2014年大數據首次寫入政府工作報告起，我國大數據產業飛速發展，需求旺盛、供給強勁。在國家大數據相關政策的護航下，我國的大數據產業已進入深化階段。隨著發展的不斷深入，企業數智化轉型逐漸到達了瓶頸，各類矛盾浮出水面。

一是效率與管理之間的矛盾。數據項目尋求快速交付，那么管理就難以貫徹落實。在執行上往往就出現了管理和實施兩張皮的現象，許多基礎工作遭到了忽視，從而產生了諸多的質量問題；

二是業務與技術之間的矛盾。以前我們技術水平落后，面對的是巧婦難為無米之炊的問題。現在技術發展迅猛，但在業務和技術的銜接上出現了問題，難以有的放矢。

三是需求與供給之間的矛盾。現在的技術發展迅猛，面對企業提出的需求，供給側能夠給出各式各樣的解決方案。需求方精力都用在識別和對比，缺乏對需求的深入思考，遠離了問題的本質。

在數智化轉型的大背景下，企業逐步意識到數據的重要程度空前。各行各業加速建設企業內部信息系統，加快數據平臺構建。但在朝數智化轉型邁進的過程中，總是存在著一些問題，阻擋著企業完成數智化蛻變。

從企業角度來看，在數據項目的開發、維護、管理的過程中，普遍會遇到一些典型的問題，例如數據項目的人工依賴度高、團隊協作配合困難、需求響應時間低于預期、開發流程不夠順暢、管理要求難以貫徹等問題。

已有研究數據報道：99%的企業數字化轉型以失敗告終，84%的數字化轉型項目未能達預期。

在數智化轉型這一階段，企業的業務正處于發展的關鍵時期，組織內的數據意識已經逐漸成熟，數據相關的需求在這一階段激增。但是這一階段，技術引擎的動力略顯不足，數據項目的成本高、數據準備的時間長、數據需求的響應不及時。種種問題阻礙住了企業完成數智化蛻變。也是與此同時，DataOps以破局者的身份出現在大家的視野當中，為企業的數據引擎換擋。

DataOps的概念最早在2014年由國外學者提出，隨后業界逐步對其內涵進行補充。在2018年DataOps正式被納入Gartner的數據管理技術成熟度曲線當中，由此進入了國際的視野當中。2022年中國信通院正式牽頭啟動了DataOps的標準建設工作，以此為基礎推動我國大數據產業的多元化發展，助力企業完成數智化蛻變。

從發展上看，自2018年被Gartner納入到數據管理技術成熟度曲線以來，DataOps熱度逐年上升，在21年處在一個從萌芽期到爆發期的關鍵過渡階段，預示著未來2-5年內DataOps將得到廣泛的實踐應用。

從定義上看，Gartner、Wikipedia爭相對DataOps提出了自己的定義。普遍認同DataOps具有敏捷、協作、自動化等特點。并且也提到了人員、流程、技術三者融合協作的重要性。

實踐上看，歐美國家的一些公司在DataOps的探索和發展上要早于中國。現階段，我國有更廣闊的發展空間和挖掘潛力，在制度保障、人才培養、技術儲備發展上都有著長期優勢。

在國外。有如Twitter、Google等公司使用面向未來的數據架構，有如公司也在多年前就開始研發了諸如Knowledge catalog、DataStage、Cloud Pak for Data等符合DataOps理念的解決方案，也有像StreamSets公司這樣以DataOps思想來引領開發的工具產品。

在國內。也有很多的企業先驅者，通過敏銳的嗅覺和強大的管理執行力去探索DataOps的實踐。如中國工商銀行、農業銀行、平安銀行等多家銀行機構，聯通數科、廣東移動、江蘇移動、浙江移動等通信企業，阿里、騰訊、浩鯨、數造科技等科技公司，都在積極探索并嘗試用DataOps的理念來推動我國數據文化的建設和發展。

DataOps標準的建設意義在于在于三定：

即確定DataOps概念意義、明確DataOps實施流程、把握企業發展階段和方向。

再有就是通過標準引領的方式，引導企業快速接納DataOps文化，盡快完成數智化轉型，釋放數據要素價值。

DataOps的標準體系涵蓋了7大模塊，分別是研發管理、交付管理、數據運維三項核心過程，價值運營、系統工具、組織管理、安全風險四項保障措施。

標準細分為25大能力、70余項能力要求和200余個動作環節。

目前，標準整體框架達成共識，并完成第一個模塊“研發管理”的主體內容和要求。

該標準對DataOps的定義和能力特征達成了共識。

定義：數據研發運營一體化（DataOps）是一種面向數據全生命周期，以價值最大化為目標的最佳實踐。聚焦于協同從數據需求輸入到交付物輸出的全鏈路過程，明確研發運營目的，細化實施步驟，在系統工具、組織模式、安全風險管理的支撐下，實現數據研發運營的一體化、敏捷化、標準化、自動化、智能化、價值顯性化理念

在級別上劃分上由低到高分為入門級、進階級、優秀級、卓越級、引領級5個級別大項。

每個級別大項中又分為3個級別小項。從管理能力、技術能力、動作關聯情況以及其他重點四大維度為企業把脈。便于企業更精準掌握現狀。

在7大模塊中，第一個模塊研發管理，已經就主體部分達成基本共識，DataOps研發管理模塊包含了4項能力，12個能力項、42個動作環節、210條等級要求和600余項條款要求。

企業可以通過以評促建的方式，掌握當前發展現狀，明確未來發展方向。

Q: 對DataOps的理解認識，特別是DataOps解決的核心命題是什么？

A: 先說一個小體會吧，咱們行業搞數據倉庫或數據平臺工程化的，包括我們的算法工程師、數據科學家等，大家都喜歡吐槽，說自己是搬磚的、填坑的、挖煤的等等，這里面其實說明了很多問題。

似乎有很多沒啥技術含量、相對模式化的工作正在折磨著大家，大家的工作幸福指數好像并不高，那DataOps，能搞定這個問題嗎？答案是肯定的，DataOps核心要解決的問題，就是要圍繞相對復雜的數據處理流水線，基于數據驅動的方法，幫助數據組織不斷改進數據活動實施層面的協作效能。

所以，簡單一點說，DataOps可理解為在數據運維和數倉開發活動中找到敏捷精益的方法實現系統性降本增效。以聯通大數據的應用實踐為例，我們內部數據治理疏整促工程和集群治理“巡山”工程的相關實踐，這是相對狹義的微觀的視角，更大一點的目標是在復雜數據處理流水線上通過自動化工具鏈真正做到數據開發運維建模治理一體化。比如我們內部的數據開發平臺和數據云平臺的相關實踐，如果從更宏觀的視角看，就是通過數據資產運營和數據智能方法論來驅動業務發展和企業數字化轉型，比如像我們通過聯通大數據能力開放平臺開展的數據生態運營及合作實踐。

Q：DataOps與數據中臺、數據資產管理等概念的區別與聯系？

A: 可以說，DataOps是數據中臺落地實踐過程中的加速器，是數據平臺開發運維和數據治理活動實施的潤滑劑，是數據科學建模分析和數據資產運營管理的催化劑。具體來看，就像下面這張圖，其中橙色部分就是DataOps的價值域，重點就是不斷提升數據組織和數據系統之間的協同效率問題。

Q: DataOps在企業中的實踐，是否可以舉具體案例說明解決了哪些問題？

A: 我先分享一下DataOps在聯通大數據公司內部實踐過程中的三個要點吧：

1) 借鑒DevOps持續集成與交付方法論，建立數據治理基礎框架，實現數據采集、加工、運維、服務過程一站式、體系化、規范化、自助化的流水線管理模式，消除數據生命周期管理、數據質量管理、數據安全管理等方面的隱患。

2) 基于大數據集群健康評分機制，實現數據平臺降本增效，從數據計算、存儲、調度等各個方面洞察平臺效能和數據資源冗余使用畫像，實現數據平臺、模型和應用的快速部署與開發，使用AI輔助數據治理手段，為上層數據分析和智能化應用提供穩定高效算力和算法支持。

3) 實現數據驅動業務，建立數據資產運營體系，通過技術數據雙中臺底座，讓數據資產能力開放運營過程更加安全、敏捷、服務化和智能化。

具體來說，DataOps可以在我們數據開發、運維、治理、運營、安全這五大領域發揮出非常大的實用價值：

Q：DataOps的理念是否適合在傳統行業推行？

A: 關于DataOps的理念，大家看到在互聯網公司、創新獨角獸企業，以及我們通信運營商領域，確實都有一些實踐心得有一些小成績，但是你要說是否適合在傳統行業進行推廣，我個人認為跟企業屬性或業務范圍沒有特別大的關系，主要取決于團隊對DataOps概念的接受程度和給企業帶來價值的目標預期。從過去的交流經驗來看，大家也容易陷入一些誤區，DataOps確實不是簡單的買買工具或者通過自研產品就一定能解決的問題，相反，這些工具或產品會變成“枷鎖”甚至是“刑具”，應該優先從數據組織和文化入手，深度思考，圍繞數據流水線、數據組織、數據活動三個關鍵點，找到數據開發、數據運維、數據治理、數據運營、數據安全五大價值域的突破口，可以嘗試各個擊破、快速迭代優化，最終實現數據組織協作效能最大化。

Q：展望DataOps未來發展，DataOps理念本身是否會有演進？

A: DataOps理念和具體的方法論確實還在不斷演進中，業界還沒有標準框架和實施層面的通用工具集，但是相對于數據中臺更容易落地，因此，我很看好DataOps未來的發展，我相信通過產業界的不斷努力，后續DataOps應該是能夠顯著提升數據組織的幸福指數，提高數據倉庫、大數據中心和數據中臺等平臺類系統工程建設的ROI，最終幫助企業實現數智化轉型的大目標。