目錄

一、數據質量問題包括哪些

二、數據質量問題如何解決

三、睿治數據質量管理平臺的作用

做過BI或數倉項目的小伙伴肯定都知道，說到數據質量問題，這是一個業務和技術經常扯來扯去、互相推諉的問題。在很多情況下，企業都會把數據質量問題推給技術部門，讓技術部門去查找和處理。但是企業的數據質量問題真的都是技術引起的嗎，技術部門人一定會說：“這個鍋我不背！”

一、數據質量問題包括哪些

接下來我們盤點下企業一般都會遇到哪些數據質量問題：

?

數據真實性：數據必須真實準確的反映客觀的實體存在或真實的業務，真實可靠的原始統計數據是企業統計工作的靈魂，是一切管理工作的基礎，是經營者進行正確經營決策必不可少的第一手資料。

數據準確性：準確性也叫可靠性，是用于分析和識別哪些是不準確的或無效的數據，不可靠的數據可能會導致嚴重的問題，會造成有缺陷的方法和糟糕的決策。

數據唯一性：用于識別和度量重復數據、冗余數據。重復數據是導致業務無法協同、流程無法追溯的重要因素，也是數據治理需要解決的最基本的數據問題。

數據完整性：數據完整性問題包括：模型設計不完整，例如：唯一性約束不完整、參照不完整；數據條目不完整，例如：數據記錄丟失或不可用；數據屬性不完整，例如：數據屬性空值。不完整的數據所能借鑒的價值就會大大降低，也是數據質量問題最為基礎和常見的一類問題。

數據一致性：多源數據的數據模型不一致，例如：命名不一致、數據結構不一致、約束規則不一致。數據實體不一致，例如：數據編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相同的數據有多個副本的情況下的數據不一致、數據內容沖突的問題。

數據關聯性：數據關聯性問題是指存在數據關聯的數據關系缺失或錯誤，例如：函數關系、相關系數、主外鍵關系、索引關系等。存在數據關聯性問題，會直接影響數據分析的結果，進而影響管理決策。

數據及時性：數據的及時性(In-time)是指能否在需要的時候獲到數據，數據的及時性與企業的數據處理速度及效率有直接的關系，是影響業務處理和管理效率的關鍵指標。

?

二、數據質量問題如何解決

面對數據質量問題，有兩個基本原則，那就是“早發現、早恢復”，也就是早點發現數據的異常點，同時盡快能夠恢復正常。下面有一些方法可以參考一下的：

錦囊1：添加稽核校驗任務

這個很好理解了，就是通過預先設置好的一些規則來驗證當前調度任務執行結果表的質量，如果觸發規則就自動發送預警給到相關的開發人員。

這里，規則可以劃分重要等級，不同登記的規則可以采取不同的預警方式和處理方式，比如重要規則的，就停止調度任務的執行（那么后續鏈路的任務就會處理等待狀態，等到上游任務結束才執行），同時通知運維人員對當前任務進行處理（建議通過電話通知）。如果是一些不那么重要的規則，就可以通過短信或者推送的方式告知。

錦囊2：建立全鏈路的監控

中臺建設的目的就是抽象出可以公用的模型，這樣子往往會有一個比較現實的問題，那就是數據加工的鏈路可能會很長，那么應用層上的指標出現問題了，排查問題也會比較困難了，所以我們需要對中臺的數據模型的數據質量進行質量監控，也就是對鏈路中的表增加了一些稽核校驗規則，如果結果數據出現問題，可以快速排查鏈路上的相關表的質量報告，快速定位到問題所在然后進行修復。

錦囊3：智能預警功能

這個idea很棒！它其實就是通過分析過去任務運行的時間以及任務需要輸出的時間節點，然后根據當前物理資源的情況，自動判斷這個調度任務是否可以在規定的時間節點前完成計算，如果不行的話就發起預警，讓開發人員暫停一些低級別的任務或者說對時效性不高的任務，釋放資源給重要任務使用。

錦囊4：規范化管理制度

我們上面講了這么多，其實都是建立在我們配置了完整的數據鏈路以及稽核規則之上的，萬一一開始我們就沒有配置這些東西呢？那么一切都是浮云了。

所以我們必須得設計一些規范化的管理制度，比如評審機制，從而確保依賴關系的完整配置，同時對稽核規則也要進行評審，確保規則的完備性。

三、睿治數據質量管理平臺的作用

正所謂，工欲善其事，必先利其器。億信華辰睿治數據治理平臺的數據質量管理模塊以全面質量管理PDCA循環管理方法為指導，充分結合國內數據質量管理工作的特點，運用元數據管理、數據挖掘、數據分析、工作流、評分卡、可視化等技術最終幫助企業和政府建立數據質量管理體系，全面提升數據的完整性、規范性、及時性、一致性、邏輯性等，降低數據管理成本，減少因數據不可靠導致的決策偏差和損失。

1、構建數據質量規則庫

定義數據驗證方法，內嵌空值檢查、值域檢查等13種檢查規則，基本覆蓋目前數據質量相關問題。

2、發現數據質量問題

靈活定義多模型質檢方案，多點監測、多模型質檢方案，高效調度，并發和串行處理相結合，性能高效，只需2分30秒，便可完成20條規則百萬級數據的質量檢查。

3、出具全面的“體檢報告”

內置常規質檢分析報告，實時可視化呈現質檢結果，質檢結果模型靈活擴展，充分利用了BI工具的分析展現能力，提供圖文并茂的質量檢查結果報告。

4、數據質量全流程管理

提供從標準定義、質量監控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發起、系統管理等數據質量管理全過程的功能，不僅能發現問題、還能將問題分發給數據負責人、管理者，在線跟蹤問題處理進展。

數據質量的全面評價，是數據質量治理的準繩。在整個數據治理環節，億信華辰睿治數據治理平臺從數據源頭控制數據質量，貫徹始終，全面提升數據的完整性、規范性、及時性、一致性，減少因數據不可靠導致的決策偏差和損失。

了解更多數據質量管理知識：http://www.122re.com/products/esdataclean.html

?