目前，越來越多的應用和服務都基于數據而建立，數據的應用也日趨繁茂，數據的重要性不言而喻。數據質量是一切數據驅動決策的前提，也是數據分析和數據挖掘結論有效性和準確性的基礎。因此，確保數據可用性與數據質量是企業不可忽略的重要環節。

目前，越來越多的應用和服務都基于數據而建立，數據的應用也日趨繁茂，數據的重要性不言而喻。數據質量是一切數據驅動決策的前提，也是數據分析和數據挖掘結論有效性和準確性的基礎。因此，確保數據可用性與數據質量是企業不可忽略的重要環節。
一、數據質量的影響因素
數據種類（Variety）：數據類型的多樣性；
數據容量（Volume）：數據的大小決定所考慮的數據的價值的和潛在的信息；
數據可變性（Variability）：妨礙了處理和有效地管理數據的過程；
數據速度（Velocity）：指獲得數據的速度；
數據復雜性（Complexity）：數據量巨大，來源多渠道。
數據真實性（Veracity）：數據的質量；
二、數據質量如何監控

1、數據對賬
離線數據對賬方法有很多，比如可以和業務庫來對比；而針對實時數據，特別是Kafka數據落地，必須要有一個監控機制來知道數據落地情況。
2、性能監控
性能監控即數據可用性監控，包含兩個方面：
數據讀寫影響，比如 es，在寫入數據的時候會影響讀數據，需要即時監控，并做相應調整。
查詢性能，比如es的某個索引，在不同時間段的查詢響應速度，還有hive、kylin、presto的查詢，可以通過任務監控來觀察。
3、日常監控
日常監控中最重要的就是數據落地檢查，常見監控內容如下：
數據掉0監控：數據量閾值監控，少于某個量就告警    
重復數據監控：監控是否存在重復數據。
數據同比環比監控：環比監控指主要是對比很短時間內漲幅程度，一般是用在月、日，不過由于行業差異，比如旅游，會受到淡旺季影響，需要用到年；同比監控一般用在相鄰兩年，相同時間段內，查看漲幅程度，一般用在兩年相同月份；
關鍵指標監控：檢查數據關鍵指標或屬性值是否有異常，然后及時做出反應
數據落地監控：實時監控數據落地，確保數據質量的完整性、準確性、一致性和及時性。
5、多數據源監控
目前大數據場景比較復雜，引入了非常多的開源組件，而且還會有新的組件持續地引入，因此要考慮到對不同組件的數據監控。包括：ES、Kylin 、Hive、Mysql、Redis等
4、告警
通過告警報表系統來展示數據預警情況，特別是對數據量趨勢內容的監控，需要用到可視化的對比。

億信華辰自主研發的睿治數據質量管理平臺EsDataClean，一站式輕松搞定質檢全過程，能夠有效地管理與掌控數據質量，提高業務數據的正確性、適時性、完全性、一致性與相關性。具備如下功能：
圖形化操作界面，全程零編碼
采用全導航交互式設計界面，技術門檻低。不管是規則定義還是流程管理都無需編寫sql或代碼，通過圖形化界面進行簡單配置即可，使得非技術用戶也能對定義過程和定義結果一目了然。
一站式輕松搞定質檢全過程
億信數據質量管理平臺（EsDataClean）提供從標準定義、質量監控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發起、系統管理等數據質量管理全過程的功能。
智能數據質量檢查調度
通過事先定義好的規則、調度時間、工作流程，自動完成數據的質量檢查，極大的減少人力的投入和過程干預，提升效率，減少誤差。
重大問題及時告警
對質量檢查的結果提供多方式（界面、郵件、短信）告警，讓用戶及時了解到系統檢查結果，避免重大問題的延誤。
一鍵生成質量報告和評估結果
系統通過數理統計、數據分析等技術，根據事先定義好的模板，自動生成質量報告和績效考評結果。
除此之外，還具備完善豐富的數據質量評估體系、全方位的數據體檢報告以及卓越的質檢性能等功能。以湖南衛健委：省衛生計生統計決策分析系統為例，通過對衛生統計數據的質量控制，并加快升級數據交換功能，重新規劃并整合衛生資源、醫療服務、醫改監測、計生人口、分科及中醫特色等主要業務數據，為各級衛生機構提供準確、便捷的信息訪問服務，為深化醫改與應急救治提供信息支撐，為制定衛生計生政策規劃與宏觀管理提供科學依據。