數(shù)據(jù)質(zhì)量管理制度設(shè)置考核 KPI,通過專項考核計分的方式對企業(yè)各業(yè)務(wù)域、各部門的數(shù)據(jù)質(zhì)量管理情況進行評估。以數(shù)據(jù)質(zhì)量的評估結(jié)果為依據(jù),將問題數(shù)據(jù)歸結(jié)到相應(yīng)的分類,并按所在分類的權(quán)值進行量化。總結(jié)發(fā)生數(shù)據(jù)質(zhì)量問題的規(guī)律,利用數(shù)據(jù)質(zhì)量管理工具定期對數(shù)據(jù)質(zhì)量進行監(jiān)控和測量,及時發(fā)現(xiàn)存在的數(shù)據(jù)質(zhì)量問題,并督促落實改正。
數(shù)據(jù)質(zhì)量管理制度的作用在于約束各方加強數(shù)據(jù)質(zhì)量意識,督促各方在日常工作中重視數(shù)據(jù)質(zhì)量,在發(fā)現(xiàn)問題時能夠追根溯源、主動解決。?
數(shù)據(jù)質(zhì)量管理策略之事中控制
數(shù)據(jù)質(zhì)量管理的事中控制是指在數(shù)據(jù)的維護和使用過程中監(jiān)控和管理數(shù)據(jù)質(zhì)量。通過建立數(shù)據(jù)質(zhì)量的流程化控制體系,對數(shù)據(jù)的創(chuàng)建、變更、采集、清洗、轉(zhuǎn)換、裝載、分析等各個環(huán)節(jié)的數(shù)據(jù)質(zhì)量進行控制。

一、加強數(shù)據(jù)源頭的控制
“問渠那得清如許,為有源頭活水來。”了解數(shù)據(jù)的來源對于企業(yè)的數(shù)據(jù)質(zhì)量至關(guān)重要,從數(shù)據(jù)的源頭控制好數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)“規(guī)范化輸入、標(biāo)準化輸出”是解決企業(yè)數(shù)據(jù)質(zhì)量問題的關(guān)鍵所在。企業(yè)可以考慮從以下幾個方面做好源頭數(shù)據(jù)質(zhì)量的管理。
1、維護好數(shù)據(jù)字典
數(shù)據(jù)字典是記錄標(biāo)準數(shù)據(jù)、確保數(shù)據(jù)質(zhì)量的重要工具。數(shù)據(jù)會隨著時間累積,如果數(shù)據(jù)積累在電子表格等非正式數(shù)據(jù)系統(tǒng)中,那么這些寶貴的數(shù)據(jù)就可能會存在一定的風(fēng)險,例如可能會隨著關(guān)鍵員工的離職而丟失。通過建立企業(yè)級數(shù)據(jù)字典對企業(yè)的關(guān)鍵數(shù)據(jù)進行有效標(biāo)識,并清晰、準確地對每個數(shù)據(jù)元素進行定義,可以消除不同部門、不同人員對數(shù)據(jù)可能的誤解,并讓企業(yè)在 IT 項目上節(jié)省大量時間和成本。
2、自動化數(shù)據(jù)輸入
數(shù)據(jù)質(zhì)量差的一個根本原因是人為因素,手動輸入數(shù)據(jù),很難避免數(shù)據(jù)錯誤。因此,企業(yè)應(yīng)該考慮自動化輸入數(shù)據(jù),以減少人為錯誤。一個方案,只要系統(tǒng)可以自動執(zhí)行某些操作就值得實施,例如,根據(jù)關(guān)鍵字自動匹配客戶信息并自動帶入表單。
3、自動化數(shù)據(jù)校驗
對于疾病,預(yù)防比治療更容易,
數(shù)據(jù)治理也一樣。我們可以通過預(yù)設(shè)的數(shù)據(jù)質(zhì)量規(guī)則對輸入的數(shù)據(jù)進行自動化校驗,對于不符合質(zhì)量規(guī)則的數(shù)據(jù)進行提醒或拒絕保存。數(shù)據(jù)質(zhì)量校驗規(guī)則包括但不限于以下幾類。
● 數(shù)據(jù)類型正確性:數(shù)字、整數(shù)、文本、日期、參照、附件等。
● 數(shù)據(jù)去重校驗:完全重復(fù)的數(shù)據(jù)項、疑似重復(fù)的數(shù)據(jù)項等。
● 數(shù)據(jù)域值范圍:最大值、最小值、可接受的值、不可接受的值。
● 數(shù)據(jù)分類規(guī)則:用來確定數(shù)據(jù)屬于某個分類的規(guī)則,確保正確歸類。
● 單位是否正確:確保使用正確的計量單位。
4、人工干預(yù)審核
數(shù)據(jù)質(zhì)量審核是從源頭上控制數(shù)據(jù)質(zhì)量的重要手段,采用流程驅(qū)動的數(shù)據(jù)管理模式,控制數(shù)據(jù)的新增和變更,每個操作都需要人工進行審核,只有審核通過數(shù)據(jù)才能生效。例如:供應(yīng)商
主數(shù)據(jù)發(fā)生新增或變更,就可以采用人工審核的方式來控制數(shù)據(jù)質(zhì)量。
二、加強流轉(zhuǎn)過程的控制
數(shù)據(jù)質(zhì)量問題不止發(fā)生在源頭,如果以最終用戶為終點,那么
數(shù)據(jù)采集、存儲、傳輸、處理、分析中的每一個環(huán)節(jié)都有可能出現(xiàn)數(shù)據(jù)質(zhì)量問題。所以,要對數(shù)據(jù)全生命周期中的各個過程都做好數(shù)據(jù)質(zhì)量的全面預(yù)防。數(shù)據(jù)流轉(zhuǎn)過程的質(zhì)量控制策略如下。
1、數(shù)據(jù)采集
在數(shù)據(jù)采集階段,可采用以下質(zhì)量控制策略:
● 明確數(shù)據(jù)采集需求并形成確認單;
● 數(shù)據(jù)采集過程和模型的標(biāo)準化;
● 數(shù)據(jù)源提供準確、及時、完整的數(shù)據(jù);
● 將數(shù)據(jù)的新增和更改以消息的方式及時廣播到其他應(yīng)用程序;
● 確保數(shù)據(jù)采集的詳細程度或粒度滿足業(yè)務(wù)的需要;
● 定義采集數(shù)據(jù)的每個數(shù)據(jù)元的可接受值域范圍;
● 確保數(shù)據(jù)采集工具、采集方法、采集流程已通過驗證。
2、
數(shù)據(jù)存儲
在數(shù)據(jù)存儲階段,可采用以下質(zhì)量控制策略:
● 選擇適當(dāng)?shù)臄?shù)據(jù)庫系統(tǒng),設(shè)計合理的數(shù)據(jù)表;
● 將數(shù)據(jù)以適當(dāng)?shù)念w粒度進行存儲;
● 建立適當(dāng)?shù)臄?shù)據(jù)保留時間表;
● 建立適當(dāng)?shù)臄?shù)據(jù)所有權(quán)和查詢權(quán)限;
● 明確訪問和查詢數(shù)據(jù)的準則和方法。
3、數(shù)據(jù)傳輸
在數(shù)據(jù)傳輸階段,可采用以下質(zhì)量控制策略:
● 明確數(shù)據(jù)傳輸邊界或數(shù)據(jù)傳輸限制;
● 保證數(shù)據(jù)傳輸?shù)募皶r性、完整性、安全性;
● 保證數(shù)據(jù)傳輸過程的可靠性,確保傳輸過程數(shù)據(jù)不會被篡改;
● 明確數(shù)據(jù)傳輸技術(shù)和工具對數(shù)據(jù)質(zhì)量的影響。
4、數(shù)據(jù)處理
在數(shù)據(jù)處理階段,可采用以下質(zhì)量控制策略:
● 合理處理數(shù)據(jù),確保數(shù)據(jù)處理符合業(yè)務(wù)目標(biāo);
● 重復(fù)值的處理;
● 缺失值的處理;
● 異常值的處理;
● 不一致數(shù)據(jù)的處理。
5、
數(shù)據(jù)分析
● 確保數(shù)據(jù)分析的算法、公式和分析系統(tǒng)有效且準確;
● 確保要分析的數(shù)據(jù)完整且有效;
● 在可重現(xiàn)的情況下分析數(shù)據(jù);
● 基于適當(dāng)?shù)念w粒度分析數(shù)據(jù);
● 顯示適當(dāng)?shù)臄?shù)據(jù)比較和關(guān)系。
● 事中控制的相關(guān)策略
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)