信息時代，數(shù)據(jù)已經(jīng)慢慢成為一種資產(chǎn)，數(shù)據(jù)質(zhì)量成為決定資產(chǎn)優(yōu)劣的一個重要方面。隨著大數(shù)據(jù)的發(fā)展，越來越豐富的數(shù)據(jù)給數(shù)據(jù)質(zhì)量的提升帶來了新的挑戰(zhàn)和困難。提出一種數(shù)據(jù)質(zhì)量策略，從建立數(shù)據(jù)質(zhì)量評價體系、落實質(zhì)量信息的采集分析與監(jiān)控、建立持續(xù)改進的工作機制和完善元數(shù)據(jù)管理４個方面，多方位優(yōu)化改進，最終形成一套完善的質(zhì)量管理體系，為信息系統(tǒng)提供高質(zhì)量的數(shù)據(jù)支持。


1、信息系統(tǒng)數(shù)據(jù)質(zhì)量

信息由數(shù)據(jù)構成，數(shù)據(jù)是信息的基礎，數(shù)據(jù)已經(jīng)成為一種重要資源。對于企業(yè)而言，進行市場情報調(diào)研、客戶關系維護、財務報表展現(xiàn)、戰(zhàn)略決策支持等，都需要信息系統(tǒng)進行數(shù)據(jù)的搜集、分析、知識發(fā)現(xiàn)，為決策者提供充足且準確的情報和資料。對于政府而言，進行社會管理和公共服務，影響面更為寬廣和深遠，政策和服務能否滿足社會需要，是否高效地使用了公共資源，都需要數(shù)據(jù)提供支持和保障，因而對數(shù)據(jù)的需求顯得更為迫切，對數(shù)據(jù)質(zhì)量的要求也更為苛刻。

2、大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量管理面臨的挑戰(zhàn)

隨著三網(wǎng)融合、移動互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)的生產(chǎn)者、生產(chǎn)環(huán)節(jié)都在急速攀升，隨之快速產(chǎn)生的數(shù)據(jù)呈指數(shù)級增長。在信息和網(wǎng)絡技術飛速發(fā)展的今天，越來越多的企業(yè)業(yè)務和社會活動實現(xiàn)了數(shù)字化。

大數(shù)據(jù)時代下的數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)呈現(xiàn)出了重大差別，直接影響到數(shù)據(jù)在流轉(zhuǎn)環(huán)節(jié)中的各個方面，給數(shù)據(jù)存儲處理分析性能、數(shù)據(jù)質(zhì)量保障都帶來了很大挑戰(zhàn)。大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)對比如表１所示。

由于以上特性，大數(shù)據(jù)的信息系統(tǒng)更容易產(chǎn)生數(shù)據(jù)質(zhì)量問題：

(1)在數(shù)據(jù)收集方面，大數(shù)據(jù)的多樣性決定了數(shù)據(jù)來源的復雜性。來源眾多、結構各異、大量不同的數(shù)據(jù)源之間存在著沖突、不一致或相互矛盾的現(xiàn)象。在數(shù)據(jù)獲取階段保證數(shù)據(jù)定義的完整性、數(shù)據(jù)質(zhì)量的可靠性尤為必要。

(2)由于規(guī)模大，大數(shù)據(jù)獲取、存儲、傳輸和計算過程中可能產(chǎn)生更多錯誤。采用傳統(tǒng)數(shù)據(jù)的人工錯誤檢測與修復或簡單的程序匹配處理，遠遠處理不了大數(shù)據(jù)環(huán)境下的數(shù)據(jù)問題。

(3)由于高速性，數(shù)據(jù)的大量更新會導致過時數(shù)據(jù)迅速產(chǎn)生，也更易產(chǎn)生不一致數(shù)據(jù)。

(4)由于發(fā)展迅速，市場龐大，廠商眾多，直接產(chǎn)生的數(shù)據(jù)或者產(chǎn)品產(chǎn)生的數(shù)據(jù)標準不完善，使得數(shù)據(jù)有更大的可能產(chǎn)生不一致和沖突。

(5)由于數(shù)據(jù)生產(chǎn)源頭激增，產(chǎn)生的數(shù)據(jù)來源眾多，結構各異，以及系統(tǒng)更新升級加快和應用技術更新?lián)Q代頻繁，使得不同的數(shù)據(jù)源之間、相同的數(shù)據(jù)源之間都可能存在著沖突、不一致或相互矛盾的現(xiàn)象，再加上數(shù)據(jù)收集與集成往往由多個團隊協(xié)作完成，期間增大了數(shù)據(jù)處理過程中產(chǎn)生問題數(shù)據(jù)的概率。

3、數(shù)據(jù)質(zhì)量管理策略

為了改進和提高數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從管理入手，對數(shù)據(jù)運行的全過程進行監(jiān)控，密切關注數(shù)據(jù)質(zhì)量的發(fā)展和變化，深入研究數(shù)據(jù)質(zhì)量問題所遵循的客觀規(guī)律，分析其產(chǎn)生的機理，探索科學有效的控制方法和改進措施；必須強化全面數(shù)據(jù)質(zhì)量管理的思想觀念，把這一觀念滲透到數(shù)據(jù)生命周期的全過程。

建立數(shù)據(jù)質(zhì)量管理系統(tǒng)解決數(shù)據(jù)質(zhì)量問題

下面介紹一款數(shù)據(jù)質(zhì)量管理平臺來解決數(shù)據(jù)質(zhì)量問題

EsDataClean數(shù)據(jù)質(zhì)量管理平臺是億信華辰自主研發(fā)的數(shù)據(jù)質(zhì)量管理平臺，提供了業(yè)界領先的質(zhì)量規(guī)則管理方法、質(zhì)量評估方法、零編碼質(zhì)檢規(guī)則、跨數(shù)據(jù)源比對、質(zhì)量分析報告、數(shù)據(jù)質(zhì)量整改、質(zhì)量績效評估等主要功能，以數(shù)據(jù)標準為數(shù)據(jù)檢核依據(jù)，以元數(shù)據(jù)為數(shù)據(jù)檢核對象，通過向?qū)Щ⒖梢暬群喴撞僮魇侄危瑢①|(zhì)量評估、質(zhì)量檢核、質(zhì)量整改與質(zhì)量報告等工作環(huán)節(jié)進行流程整合，形成完整的數(shù)據(jù)質(zhì)量管理閉環(huán)。


億信數(shù)據(jù)質(zhì)量管理平臺從找到問題數(shù)據(jù)開始，控制數(shù)據(jù)質(zhì)量，貫徹始終，全面提升數(shù)據(jù)的完整性、規(guī)范性、及時性、一致性，減少因數(shù)據(jù)不可靠導致的決策偏差和損失。

４ 結語
數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)生命周期的全過程，覆蓋質(zhì)量評估、數(shù)據(jù)監(jiān)控、數(shù)據(jù)探查、數(shù)據(jù)清洗、數(shù)據(jù)診斷等方面。數(shù)據(jù)源在不斷增多，數(shù)據(jù)量在不斷加大，新需求推動的新技術也不斷誕生，這些都對大數(shù)據(jù)下的數(shù)據(jù)質(zhì)量管理帶來了困難和挑戰(zhàn)。因此，數(shù)據(jù)質(zhì)量管理要形成完善的體系，建立持續(xù)改進的流程和良性機制，持續(xù)監(jiān)控各系統(tǒng)數(shù)據(jù)質(zhì)量波動情況及數(shù)據(jù)質(zhì)量規(guī)則分析，適時升級數(shù)據(jù)質(zhì)量監(jiān)控的手段和方法，確保持續(xù)掌握系統(tǒng)數(shù)據(jù)質(zhì)量狀況，最終達到數(shù)據(jù)質(zhì)量的平穩(wěn)狀態(tài)，為業(yè)務系統(tǒng)提供良好的數(shù)據(jù)保障。?