那些關于數據治理的不過時觀點

數據不是越多越好
不明白如何消費數據的數據集市建設就是耍流氓
大數據是AI的基礎，在應用側，AI場景更多的是呈點狀分布

數據是有成本，數據是有成本的。存儲數據是需要成本的，數據的成本絕非只有物理存儲空間成本那么簡單，實際上它包括了下述五種成本要素：

物理存儲器：各種專用或通用的數據存儲設備或者分布式存儲設備；
人員和軟件：為了有效地管理存儲而必須配備的人員與軟件所投入的資金和努力；
電力和空間：為確保存儲系統能正常運行所需要的電力和IDC機房空間的投入；
遍歷的時間：為了檢索數據而不得不遍歷存儲空間所耗費的時間；
災備的成本
為了保證數據安全而進行數據備份所需要的各類資源，數據的成本 = 物理存儲器 + 人員和軟件 + 電力和空間 + 遍歷的時間 + 災備的成本。

一、數據的成本價值困局

數據對企業的價值并非相同。在許多企業中，時間會減低我們可以從任何特定數據元素中所獲得的價值。例如，很多舊數據對建立交易模型用處不大。某個客戶與電子商務平臺交互的舊記錄可能有用，但其價值遠不如最新的數據。電話公司幾年前的詳細通話記錄沒有最新的通話記錄對用戶的價值大。三年前的銀行交易記錄不如最近幾個星期的有用。人們可能會偶爾看一下老照片和老視頻，但是經常看的還是最近上傳的新照片和新視頻。雖然我們不能說所有的舊數據都沒有新數據價值大，但在大多數的情況下，新數據更有價值是一個事實。

上面的表達方法叫RFM圖，R代表數據的產生時間（Recent）, F代表數據的使用頻率，M代表以貨幣表達的數據價值（Monetary）。從上面的RFM圖可以看出，越是最近產生，越是經常使用的數據其貨幣價值越高（右后上方的頂點）。相反，產生很久，而且不常使用的數據幾乎沒有什么貨幣價值。

如果數據的價值隨著時間的推移而降低，那么為什么我們還要保存那么多的數據呢? 我們把這個問題叫作數據的成本價值困局。大多數公司并沒有對數據價值隨時間的推移逐漸降低和維持高速增長的數據成本這些事實引起高度注重。

通常情況下，更新、更快存儲技術的出現使我們能夠以更低的初始成本來存儲相同數量的數據，或者用相同的成本來存儲更多的數據。隨著單位存儲成本的下降，我們要保存更多數據的愿望也逐漸膨脹。在高速增長的公司，除了要考慮數據的價值很可能會隨著時間的推移而降低的事實之外，我們還要考慮雖然單位存儲成本下降，但保存數據的總成本極有可能增加的事實。如何對此做出合理的決策對大多數企業提出了獨特的新挑戰。

準確的價值則取決于最終所選擇的方案能夠帶來的利益。數據選項的價值有限度，為了給這個價值一個界限，我們應該開始回答下述五個問題：

我們過去經常依靠數據做出有價值的決定嗎？
在那個決定中，我們使用多久以前的數據？
該數據最終創造的價值是多少？
維護這些舊數據的成本是多少？
平衡成本，最終的結果我們贏利嗎？
提出這些問題并不意味著要從系統中刪除所有的數據。如果沒有一些有意義的數據，平臺可能無法運作。確切地說是要指出應該評估和質疑保留數據的策略，以確保所有保存的數據都有價值。如果在過去你沒有依靠數據做出更好的決定，那么從明天開始使用所有數據的機會也不會太大。即使你開始使用數據，也不太可能使用所有的數據。因此，應該確定：

哪些數據具有真正的價值？
哪些數據有價值但應該存儲在低成本的存儲系統？
哪些數據可以刪除？
然而，在大多數情況下，數據的價值會隨著時間的推移而降低，無限的數據不等同于無窮的價值。兩者會有一個平衡點，在該點之后，舊數據的價值開始明顯地衰減。因此需要了解數據的價值，把數據在某一年的價值與之前二年、五年的價值進行比較，以此類推，從而確定一個數據不再帶來贏利的時間點和額外數據的增加會對保留客戶、做出更好決策等等帶來的接近于零價值的時間點。

二、大數據時代下的數據治理壓力

上圖為某運營商從運維壓力、管理壓力、增值壓力等角度進行敘述，如果說的淺顯直白一點的話，數據治理最主要的動機來自2方面。

一方面是業務上的困擾
數據標準問題，如數據字段口徑不統一、數據研發煙囪式建設，導致重復建設或者數據不同源導致的分析結果不可信。

一方面是技術上的消耗
由于缺乏統一規劃和明確分工依賴，煙囪式野蠻生長，存儲和計算資源的大量消耗，而其業務價值無法評估收益。

以一貫之的目標驅動
圍繞某銀行數據平臺建設，提供針對數據生命周期的管控機制，體現為以下幾個出發點：

數據標準規范化–規范化管理構成數據平臺的業務和技術基礎設施，包括數據管控制度與流程規范文檔、信息項定義等。
數據關系脈絡化–實現對數據間流轉、依賴關系的影響和血緣分析。
數據質量度量化—全方位管理數據平臺的數據質量，實現可定義的數據質量檢核和維度分析，以及問題跟蹤。
數據服務電子化–為數據平臺提供面向業務用戶的服務溝通渠道。