- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2023-02-01來源:蒲公渶瀏覽數:383次
企業已經進入數據民主化的時代,如何能夠在全員皆是數據用戶的情況下做好數據協同,成了所有企業面臨的問題。 如果這個問題解決不好,那么數據治理也會越來越難。 要解決這個問題,需從用戶的本質需求出發,搞清楚企業數據的用戶都有哪些,分成什么類型,不同的訴求是什么,會進行怎樣的協同。
企業已經進入數據民主化的時代,如何能夠在全員皆是數據用戶的情況下做好數據協同,成了所有企業面臨的問題。數據協同是數據治理,數據利用的基礎,協同做不好,會導致數據價值流的中斷,各種浪費,但是企業過去更多關注于數據生產和加工,對于數據協同缺少應有的重視和投入。精益數據方法論強調打造從數據源到數據產品的價值流的加速,數據協同創新是精益數據方法的六大能力之一。
一、問題的提出
單維度的數據價值含量低,只有多種數據的組合協作才能產生更大的業務價值,才能進行創新,比如 100 萬條用戶姓名數據的價值遠低于 1 萬條用戶訂單、地址、行為數據的組合。受限于組織結構和應用架構,很多企業的數據是不共享、不集成、不協同的。????數據已經成為企業所有部門的生產要素,但是傳統的職能分工還停留在 IT部門處理數據的階段,于是出現了數據需求膨脹、IT 部門能力不足、數據開發需求緩慢排隊的情況。IT 部門的資源已經無法支撐企業劇增的數據需求,各部門數據自服務將成為企業的趨勢。????數據協同創新就是打造一站式的數據生產體系,讓數據的分析、利用、創新變成日常工作的一部分。數據協同創新是通過精益數據方法,對齊企業數據戰略,依托數據中臺里的協同創新組件,如大數據自服務門戶、企業數據創新平臺,推動相關的組織、人員、設備全鏈路協同,讓所有的要素共享互通、高效協作、快速創新。
數據協同的定義
1. 企業為什么需要數據協同數據只有組合才能產生更大的業務價值和創新。精準營銷就是基于用戶畫像、歷史銷量和產品畫像的數據組合實現的。數據本身是沒有壁壘的,是相互關聯、相互耦合的,但是企業的組織結構、崗位分工卻將數據局限在一個個孤島里,使其無法自由地流動和參與部門協作。數據協同要從一種自發、無組織、依賴工作人員線下關系和利益的被動協作,走向標準化、統一、借助平臺工具的體系化協作,才能從根本上打破數據的壁壘,讓數據要素真正成為企業的資產,更快、更好地創造價值。
2. 數據協同的定義數據協同是指多方協作,融合多方數據,對數據要素進行加工利用,達成某一類業務目標的過程。數據協同的本質是人與數據的價值連接,如圖 6-1所示。
圖 6-1
數據協同創新的本質是人與數據的價值連接數據協同包括局部協同和全局協同。
●?局部協同解決局部業務問題,優化多人協作的過程。比如,為了獲取用戶畫像數據,數據工程師、軟件工程師和多個業務系統的業務人員協作,制定標準和行動計劃,從多個業務系統中獲取統一集成的用戶數據。
●?全局協同是企業整體的數據生產、采集、加工、利用的全鏈路協同方式,讓所有的數據用戶利用同一套數據,按照統一的標準協作。目前大部分企業的數據協同都處于局部協同階段,往往是項目級、任務級的團隊內部協作,并未形成企業級的全局協同。
3. 業務對數據協同的期待和現狀企業各個業務部門對于數據的依賴性越來越高,很多企業每個業務部門都有專門的數據分析和運營人員獲取業務數據,對數據進行分析,然后生成報表和洞察報告提供給業務決策者。在這個過程中,業務部門不僅需要本部門的數據,很多時候還需要其他業務的數據。比如,銷售部門在做銷售預測的時候,除了需要銷售數據外,還需要財務的數據、庫存的數據等。各業務部門對于數據共享的需求越來越旺盛,所以如何協同就成了很大的挑戰。在現在大部分企業中,業務部門期待的數據協同方式和實際現狀間仍存在很大的差距,如圖 6-2 所示。
圖 6-2
企業數據協同的期待和現狀????基于過去的職能分工,找數據、做報表、做分析,就找 IT 團隊。在這樣的組織結構和共同認識下,所有的需求都找 IT 團隊去解決,在過去很多年都是這種協作關系。在這樣的分工模式下,企業數據協同的需求并不旺盛,因為各部門都找 IT 部門提供數據,自己并不需要做數據的工作。隨著企業業務的快速發展,企業全員對數據的需求處于爆炸式增長的階段,所有的業務分析、決策都需要數據的支撐,各類報表、指標等著 IT 部門來開發,甚至開一個會都需要抓取各種數據來做臨時的分析。在這種情況下,沒有哪個企業的 IT 部門能夠及時地滿足這樣龐大、隨機、缺少計劃的數據生產需求。當業務部門在 IT 部門排隊等待、催促還是無法獲得數據以后,業務部門就開始自建數據分析和運營體系,在部門內部實現獲取數據、分析數據、加工數據等過程,這樣一來,各種數據生產工具不斷出現,各種數據集不斷產生。????由于缺少統一的標準,缺少技術工具,各自業務部門間的數據口徑、數據分布都不一樣,所以當業務部門自己做各種數據分析工作的時候是缺少標準化協同的,最后導致重復加工、重復分析、數據不一致等多種問題。
二、問題的剖析企業級數據協同全景圖
數據協同的 6 個階段經過十幾年的信息化建設,企業生產的數據越來越多,企業利用數據的需求也越來越廣泛和深入,所以很多崗位的主要工作就是加工和分析各種數據,而所有人都是在一套企業的數據基礎上進行加工利用,形成了企業數據協同的全景圖,如圖?6-3?所示。
從圖?6-3?可以看到,企業的數據協同過程可以分成?6?個關鍵階段。
1. 數據源眾多企業面臨著數據復雜度的挑戰,眾多割裂的系統時刻都在產生大量的源數據,這些數據以部門為單位生產,服務于某一段時期的特定業務需求,不同的開發團隊采用的技術架構不盡相同,數據建模方法也不一樣,缺少協同。應用級的數據之間口徑不一致,內部的數據開發人員缺少協作,最終導致數據孤島叢生。在數據源階段,企業的數據生產缺少規劃協同,數據源之間的數據不共享、不拉通,導致從源頭上就有很多數據的重復生產、重復存儲、標準不一等問題。
2. 數據采集、獲取過去多年以數據倉庫為主的企業數據建設過程中,有很大一部分工作是從源數據系統中采集和集成數據,這樣的采集工作呈現兩個特點。
(1)需求多樣不同的業務需求對數據有著不同的采集頻率、采集方式,比如文件傳輸、數據庫復制、通過?API?獲取等。
(2)標準不一這樣的采集工作缺少全局的規劃,數據消費端的需求不一樣,所以采集哪些數據,用什么結構去采集,以及如何設計數據處理鏈等,這些環節都不一樣。
3. 數據存儲采集到的數據會被存儲到各種各樣的數據系統中。很多企業的數據體系缺少統籌規劃,是按照組織結構來設計的。比如,集團有集團級別的數據倉庫,分?/?子公司有分?/?子公司級別的數據倉庫,而有的業務部門也有自己的數據存儲系統。所以重復加工、重復存儲的數據隨處可見,缺少統一的數據血緣追溯體系,有的時候數據消費端不知道從哪里能取到最可信的數據。
4. 數據分析、加工數據分析是應用最廣泛的數據處理工作,從業務人員到數據人員都有數據分析的需求,但是目前企業的數據分析現狀具有以下?3?個特點。
1)大量時間在找數據而不是分析數據。很多數據分析師接到分析需求后,花費大量的時間,甚至超過?50%?的時間找數據、要數據,以及做數據分析前的數據預處理工作。這是因為數據資產沒有被集中、規范地管理,數據分散在不同的地方,無法被高效定位、識別和獲取。
2)缺少在線協作的分析工具。日常的工作中,各部門還是用自己熟悉的工具做分析,使用即時通信工具來溝通甚至傳送數據。大部分企業尚未建立統一、在線、端到端的數據協作工作臺。
3)分析后的成果難以共享和分發。一項數據分析工作完成后,分析的成果往往都在分析師自己的電腦上,沒有統一的系統去存放、共享和分發,所以其他數據分析師再次碰到類似問題的時候,要么重新分析,要么到處打電話向其他數據分析師詢問是否有可以參考的內容,效率非常低下。
在數據分析的背后是非常繁重的數據加工工作,而當前大部分企業的數據加工環節是以數據團隊為中心去進行的,這樣導致以下?3?種現象出現。
1)數據團隊疲于奔命。數據團隊由于資源和能力有限,往往被眾多數據加工任務排滿,工作量大,每天被各種緊急需求追著跑。
2)缺少統一管理。數據加工環節缺少統一的監控、調度、預警等管理功能也是目前很多企業的現狀之一。無法及時地發現數據加工環節的問題,導致業務部門在使用數據產品的時候發現數據口徑不一致等問題,然后緊急救火。
3)缺少統一工作臺。當下,很多數據工程師的工作環節并未打通,都是在一個工具應用里做完一個任務后再登錄下一個應用,有時候還是離線地在本機上處理數據然后傳送文件。這樣帶來了很多數據不一致、重復加工、版本無法管理的問題。5. 數據產品數據產品的構建是從數據到價值的最后一公里,目前的企業數據產品構建往往呈現三大特點。
1)缺乏統一管理。數據產品的形態多種多樣,比如?Excel?表格、FTP?文件、數據集、數據?API、數據應用。目前很多企業并沒有建立起統一發現、搜索和使用數據資產和產品的平臺,在這種情況下,由于業務的緊迫需求,工作中難以避免數據的分發和復制。
2)缺少運營。數據產品被誰下載及使用,使用的情況如何,這些用戶消費和行為數據并未由統一的平臺去記錄和管理,所以哪些數據產品是令用戶滿意的、受歡迎的,哪些是不受歡迎的,都無從衡量。這也是很多數據平臺和數據產品的價值無法度量的原因之一。
3)安全風險。企業雖然強調數據安全,但是缺少技術平臺的支撐,數據安全體系仍然處處都有漏洞,具體體現在數據資產沒有分級、分類機制,數據產品的安全管控缺失等。
6. 業務場景數據產品最終會應用于不同的業務場景,如在生產領域的智能排產、需求預測;銷售領域的精準營銷、用戶畫像;運營領域的預測性檢修和智能維護等。這些業務場景往往是由不同的部門主導和構建的,所以各業務場景之間是相互割裂、互不聯系的。從數據的角度看,所有的業務場景背后可信且真實的數據應該只有一套,而目前往往各個業務領域都有自己的數據副本,數據經過了很多二次加工操作,所以最后不同業務場景中一些共性數據會出現口徑不一致、結果不一致的問題。數據協同的 6 個挑戰從企業數據生產加工過程來看,企業數據協同面臨以下?6?個挑戰,如圖?6-4?所示。
1. 目標不一致協同的基礎是有共同的目標,只有有了共同的目標和利益,相關人員才能夠在內心里認同協同。如果連目標都不一致,那么協同也就是一句空話,企業提供再好的工具平臺都是無效的。而現在很多部門的數據利用與生產是割裂的,各方并沒有形成統一的目標,分別有各自的?KPI,缺少對齊目標的意識和行動。
2. 缺少意識目前很多企業尚未建立起數據協同的意識,業務部門認為數據是技術部門和數據部門的事情,與自己無關。應用開發團隊將數據團隊隔離在外,什么事情都喜歡自己搞定。這導致不同部門或團隊總會出現數據不一致等問題,根本原因是缺乏數據協同的意識。數據是沒有組織壁壘、沒有立場的,能將所有事實串聯成鏈條。當數據成為生產要素的時候,數據的協同就成了必然的趨勢。
3. 缺少標準當下很多企業在數據開發和利用上沒有統一的標準,包括數據協同處理的流程和規則、各個團隊之間的分工等方面。
4. 缺少度量很多企業尚未建立協同的標準,部門間數據協作的過程也都是線下自發的方式。沒有標準也就采集不到協作過程的關鍵指標,比如進度、狀態等,也就無法可視化和度量每一個數據任務的狀態,比如該任務目前處于哪個環節,進度是否符合計劃等。
5. 缺少平臺只有標準是不夠的,必須要有工具和平臺來支撐標準的執行和落實,否則標準帶來的只是額外的管理工作量。但是目前大部分企業都缺少企業級的數據協同平臺,能把業務、技術和數據三方的相關內容和工作人員都整合在一起,無縫銜接,無邊界協作。
6. 缺少運營讓企業實現數據協同還需要運營。運營的主要任務包括如下幾點。
●?運維:監控企業的各項數據協同狀況,及時發現問題,比如數據處理鏈異常、存儲空間不夠等。
●?調度:調度相關的資源來支持和保障各項數據協同任務能夠高效完成。
●?分析:通過分析相關的協同數據,發現數據協同過程的趨勢、風險以及、待優化點。
●?引導:舉辦活動,制定機制,鼓勵和引導更有價值的數據協同生產。
?企業已經進入數據民主化的時代,如何能夠在全員皆是數據用戶的情況下做好數據協同,成了所有企業面臨的問題。 如果這個問題解決不好,那么數據治理也會越來越難。 要解決這個問題,需從用戶的本質需求出發,搞清楚企業數據的用戶都有哪些,分成什么類型,不同的訴求是什么,會進行怎樣的協同。