數(shù)據(jù)質(zhì)量監(jiān)控可以分為數(shù)據(jù)質(zhì)量的事前預(yù)防控制、事中過(guò)程控制和事后監(jiān)督控制:
事前預(yù)防控制
建立
數(shù)據(jù)標(biāo)準(zhǔn)化模型,對(duì)每個(gè)數(shù)據(jù)元素的業(yè)務(wù)描述、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則、管理規(guī)則、采集規(guī)則進(jìn)行清晰的定義,以上的數(shù)據(jù)質(zhì)量的校驗(yàn)規(guī)則、采集規(guī)則本身也是一種數(shù)據(jù),在元數(shù)據(jù)中定義。面對(duì)龐大的數(shù)據(jù)種類(lèi)和結(jié)構(gòu),如果沒(méi)有元數(shù)據(jù)來(lái)描述這些數(shù)據(jù),使用者無(wú)法準(zhǔn)確地獲取所需信息。正是通過(guò)元數(shù)據(jù),使得數(shù)據(jù)才可以被理解、使用,才會(huì)產(chǎn)生價(jià)值。構(gòu)建數(shù)據(jù)分類(lèi)和編碼體系,形成企業(yè)數(shù)據(jù)資源目錄,讓用戶(hù)能夠輕松地查找和定位到相關(guān)的數(shù)據(jù)。實(shí)踐告訴我們做好
元數(shù)據(jù)管理,是預(yù)防數(shù)據(jù)質(zhì)量問(wèn)題的基礎(chǔ)。
數(shù)據(jù)質(zhì)量問(wèn)題的預(yù)防控制最有效的方法就是找出發(fā)生數(shù)據(jù)質(zhì)量問(wèn)題的根本原因并采取相關(guān)的策略進(jìn)行解決。
1)確定根本原因:確定引起數(shù)據(jù)質(zhì)量問(wèn)題的相關(guān)因素,并區(qū)分它們的優(yōu)先次序,以及為解決這些問(wèn)題形成具體的建議。
2)制定和實(shí)施改進(jìn)方案:最終確定關(guān)于行動(dòng)的具體建議和措施,基于這些建議制定并且執(zhí)行提高方案,預(yù)防未來(lái)數(shù)據(jù)質(zhì)量問(wèn)題的發(fā)生。
事中過(guò)程控制
事中數(shù)據(jù)質(zhì)量的控制,即在數(shù)據(jù)的維護(hù)和使用過(guò)程中去監(jiān)控和處理數(shù)據(jù)質(zhì)量。通過(guò)建立數(shù)據(jù)質(zhì)量的流程化控制體系,對(duì)數(shù)據(jù)的新建、變更、采集、加工、裝載、應(yīng)用等各個(gè)環(huán)節(jié)進(jìn)行流程化控制。數(shù)據(jù)質(zhì)量的過(guò)程控制,要做好兩個(gè)強(qiáng)化:
(1)強(qiáng)化數(shù)據(jù)的標(biāo)準(zhǔn)化生產(chǎn),從數(shù)據(jù)的源頭控制好數(shù)據(jù)質(zhì)量,該過(guò)程可以采用系統(tǒng)自動(dòng)化校驗(yàn)和人工干預(yù)審核相結(jié)合的方式進(jìn)行管理,數(shù)據(jù)的新增和變更一方面通過(guò)系統(tǒng)進(jìn)行數(shù)據(jù)校驗(yàn),對(duì)于不符合質(zhì)量規(guī)則的數(shù)據(jù)不允許保持,另一方面采集流程驅(qū)動(dòng)的數(shù)據(jù)管理模式,數(shù)據(jù)的新增和變更操作都需要人工進(jìn)行審核,只有審核通過(guò)才能生效。
(2)強(qiáng)化數(shù)據(jù)質(zhì)量預(yù)警機(jī)制,對(duì)于數(shù)據(jù)質(zhì)量邊界模糊的數(shù)據(jù)采用數(shù)據(jù)質(zhì)量預(yù)警機(jī)制。數(shù)據(jù)預(yù)警機(jī)制是對(duì)數(shù)據(jù)相似性和數(shù)據(jù)關(guān)聯(lián)性指標(biāo)的重要控制方法。針對(duì)待管理的數(shù)據(jù)元素,配置數(shù)據(jù)相似性算法或數(shù)據(jù)關(guān)聯(lián)性算法,在數(shù)據(jù)新增、變更、處理、應(yīng)用等環(huán)節(jié)調(diào)用預(yù)置的數(shù)據(jù)質(zhì)量算法,進(jìn)行相識(shí)度或關(guān)聯(lián)性分析,并給出
數(shù)據(jù)分析的結(jié)果。數(shù)據(jù)預(yù)警機(jī)制常用在業(yè)務(wù)活動(dòng)的交易風(fēng)險(xiǎn)控制等場(chǎng)景。
事后監(jiān)督控制
是不是我們最好了事前預(yù)防控制和事中過(guò)程控制,就不會(huì)再有數(shù)據(jù)質(zhì)量問(wèn)題的發(fā)生了?答案顯然是否定的。而事實(shí)上,不論我們做了多少預(yù)防措施、多嚴(yán)格的過(guò)程控制,總是還有數(shù)據(jù)質(zhì)量問(wèn)題的“漏網(wǎng)之魚(yú)”,你會(huì)發(fā)現(xiàn)只要是人為干預(yù)的過(guò)程,總會(huì)存在數(shù)據(jù)質(zhì)量的問(wèn)題。數(shù)據(jù)質(zhì)量問(wèn)題一旦產(chǎn)生就已經(jīng)是“木已成舟”,為了避免或減低其對(duì)業(yè)務(wù)的影響,我們需要及時(shí)的發(fā)現(xiàn)它。這里,數(shù)據(jù)質(zhì)量的事后監(jiān)督控制就尤為重要了。
定期開(kāi)展數(shù)據(jù)質(zhì)量的檢查和清洗工作應(yīng)作為企業(yè)數(shù)據(jù)質(zhì)量治理的常態(tài)工作來(lái)抓。
1)設(shè)置數(shù)據(jù)質(zhì)量規(guī)則。基于數(shù)據(jù)的元模型配置數(shù)據(jù)質(zhì)量規(guī)則,即針對(duì)不同的數(shù)據(jù)對(duì)象,配置相應(yīng)的數(shù)據(jù)質(zhì)量指標(biāo),不限于:數(shù)據(jù)唯一性、數(shù)據(jù)準(zhǔn)確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時(shí)性等。
2)設(shè)置數(shù)據(jù)檢查任務(wù)。設(shè)置成手動(dòng)執(zhí)行或定期自動(dòng)執(zhí)行的系統(tǒng)任務(wù),通過(guò)執(zhí)行檢查任務(wù)對(duì)存量數(shù)據(jù)進(jìn)行檢查,形成數(shù)據(jù)質(zhì)量問(wèn)題清單。
3)出具數(shù)據(jù)質(zhì)量問(wèn)題報(bào)告。根據(jù)數(shù)據(jù)質(zhì)量問(wèn)題清單匯總形成數(shù)據(jù)質(zhì)量報(bào)告,數(shù)據(jù)質(zhì)量報(bào)告支持查詢(xún)、下載等操作。
4)制定和實(shí)施數(shù)據(jù)質(zhì)量改進(jìn)方案,進(jìn)行數(shù)據(jù)質(zhì)量問(wèn)題的處理。
5)評(píng)估與考核。通過(guò)定期對(duì)系統(tǒng)開(kāi)展全面的數(shù)據(jù)質(zhì)量狀況評(píng)估,從問(wèn)題率、解決率、解決時(shí)效等方面建立評(píng)價(jià)指標(biāo)進(jìn)行整改評(píng)估,根據(jù)整改優(yōu)化結(jié)果,進(jìn)行適當(dāng)?shù)目?jī)效考核。
數(shù)據(jù)治理的“常態(tài)化”才是數(shù)據(jù)質(zhì)量問(wèn)題的最好解決方式,而要實(shí)現(xiàn)常態(tài)化治理就需要改變?cè)瓉?lái)的企業(yè)組織形式、管理流程、轉(zhuǎn)變觀(guān)念,以適應(yīng)這種變化。數(shù)據(jù)治理的“常態(tài)化”要經(jīng)得起折騰,所以千萬(wàn)不能老做些重新發(fā)明輪子的亊情!

(部分內(nèi)容來(lái)源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)