大數據時代，數據資產及其價值利用能力逐漸成為構成企業核心競爭力的關鍵要素；然而，大數據應用必須建立在質量可靠的數據之上才有意義，建立在低質量甚至錯誤數據之上的應用有可能與其初心南轅北轍背道而馳。因此，數據質量正是企業應用數據的瓶頸，高質量的數據可以決定數據應用的上限，而低質量的數據則必然拉低數據應用的下限。

一、數據質量
數據質量的高低代表了該數據滿足數據消費者期望的程度，這種程度基于他們對數據的使用預期。數據質量必須是可測量的，把測量的結果轉化為可以理解的和可重復的數字，使我們能夠在不同對象之間和跨越不同時間進行比較。 數據質量管理是通過計劃、實施和控制活動，運用質量管理技術度量、評估、改進和保證數據的恰當使用。

二、數據質量維度
1、準確性：數據不正確或描述對象過期
2、合規性：數據是否以非標準格式存儲
3、完備性：數據不存在
4、及時性：關鍵數據是否能夠及時傳遞到目標位置
5、一致性：數據沖突
6、重復性：記錄了重復數據

三、數據質量分析
數據質量分析的主要任務就是檢查數據中是否存在臟數據，臟數據一般是指不符合要求以及不能直接進行相關分析的數據。臟數據包括以下內容：
1、缺省值
2、異常值
3、不一致的值
4、重復數據以及含有特殊符號（如#、￥、*）的數據
我們已經知道了臟數據有4個方面的內容，接下來我們逐一來看這些數據的產生原因，影響以及解決辦法。

第一、缺省值分析
產生原因：
1、有些信息暫時無法獲取，或者獲取信息的代價太大
2、有些信息是被遺漏的，人為或者信息采集機器故障
3、屬性值不存在，比如一個未婚者配偶的姓名、一個兒童的固定收入
影響：
1、會丟失大量的有用信息
2、數據額挖掘模型表現出的不確定性更加顯著，模型中蘊含的規律更加難以把握
3、包含空值的數據回事建模過程陷入混亂，導致不可靠輸出
解決辦法：
通過簡單的統計分析，可以得到含有缺失值的屬性個數，以及每個屬性的未缺失數、缺失數和缺失率。刪除含有缺失值的記錄、對可能值進行插補和不處理三種情況。

第二、異常值分析
產生原因：業務系統檢查不充分，導致異常數據輸入數據庫
影響：不對異常值進行處理會導致整個分析過程的結果出現很大偏差
解決辦法：可以先對變量做一個描述性統計，進而查看哪些數據是不合理的。最常用的統計量是最大值和最小值，用力啊判斷這個變量是否超出了合理的范圍。如果數據是符合正態分布，在原則下，異常值被定義為一組測定值中與平均值的偏差超過3倍標準差的值，如果不符合正態分布，也可以用原理平均值的多少倍標準差來描述。

第三、不一致值分析
產生原因：不一致的數據產生主要發生在數據集成過程中，這可能是由于被挖掘的數據是來自不同的數據源、對于重復性存放的數據未能進行一致性更新造成。例如，兩張表中都存儲了用戶的電話號碼，但在用戶的號碼發生改變時只更新了一張表中的數據，那么兩張表中就有了不一致的數據。
影響：直接對不一致的數據進行數據挖掘，可能會產生與實際相悖的數據挖掘結果。
解決辦法：注意數據抽取的規則，對于業務系統數據變動的控制應該保證數據倉庫中數據抽取最新數據

第四、重復數據及特殊數據
產生原因：業務系統中未進行檢查，用戶在錄入數據時多次保存。或者因為年度數據清理導致。特殊字符主要在輸入時攜帶進入數據庫系統。
影響：統計結果不準確，造成數據倉庫中無法統計數據
解決辦法：在ETL過程中過濾這一部分數據，特殊數據進行數據轉換。

四、數據質量管理
大多數企業都沒有一個很好的數據質量管理的機制，因為他們不理解其數據的價值，并且他們不認為數據是一個組織的資產，而把數據看作創建它的部門領域內的東西。缺乏數據質量管理將導致臟數據、冗余數據、不一致數據、無法整合、性能底下、可用性差、責任缺失、使用系統用戶日益不滿意IT的性能。
在做數據分析之前一般都應該初步對數據進行評估。初步數據評估通過數據報告來完成的，數據報告通常在準備把數據存入數據倉庫是做一次，它是全面跨數據集的，它描述了數據結構、內容、規則、和關系的概況。通過應用統計方法返回一組關于數據的標準特征，包括數據類型、字段長度、列基數、粒度、值、格式、模式、規則、跨列和跨表的數據關系，以及這些關系的基數。初步評估報告的目的是獲得對數據和環境的了解，并對數據的狀況進行描述。

五、總結
數據報告中列出了很多的檢查項都是圍繞數據質量管理相關的檢查，所以做一個數據分析項目前一定要知道客戶的數據質量情況。如果數據質量很糟糕，最終影響的是項目分析的實際效果。例如，用戶業務系統中客戶信息只輸入了客戶名稱，要分析客戶類型就會存在缺省值。當然有一些維度屬性我們可以通過事實表反算數據進入維度表來補充維度屬性。個人建議在數據分析項目中一定要對維度屬性進行評估，在項目處理前利用簡單的模型告訴客戶能夠出具的效果。