一、什么是數(shù)據(jù)質(zhì)量管理？
1、數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量在業(yè)務(wù)環(huán)境下，數(shù)據(jù)符合數(shù)據(jù)消費(fèi)者的使用目的，數(shù)據(jù)質(zhì)量需要滿足業(yè)務(wù)場(chǎng)景具體的需求。數(shù)據(jù)質(zhì)量包含兩個(gè)方面：數(shù)據(jù)的過(guò)程質(zhì)量和數(shù)據(jù)自身的質(zhì)量。
數(shù)據(jù)的過(guò)程質(zhì)量就是數(shù)據(jù)的使用過(guò)程符合標(biāo)準(zhǔn)規(guī)范，比如數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)是否被安全的存儲(chǔ)到了合適的介質(zhì)上，能夠保證數(shù)據(jù)不受外來(lái)因素的破壞。當(dāng)然數(shù)據(jù)存儲(chǔ)只是數(shù)據(jù)使用過(guò)程的一個(gè)環(huán)節(jié)，除此之外還包括獲取、傳輸、應(yīng)用和刪除等一系列的使用過(guò)程，這其實(shí)也是數(shù)據(jù)生命周期的各個(gè)階段。
數(shù)據(jù)自身的質(zhì)量很好理解，比如數(shù)據(jù)必須真實(shí)準(zhǔn)確地反映實(shí)際發(fā)生的業(yè)務(wù)，任何業(yè)務(wù)操作的數(shù)據(jù)都沒(méi)有被遺漏，數(shù)據(jù)存在各種約束條件，這種約束條件不能自相矛盾等等。
2、數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理是指對(duì)數(shù)據(jù)從產(chǎn)生、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用等各個(gè)階段可能引發(fā)的各類(lèi)數(shù)據(jù)質(zhì)量問(wèn)題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過(guò)改善和提高組織的管理水平使數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。
二、數(shù)據(jù)質(zhì)量評(píng)估維度
1、規(guī)范性：數(shù)據(jù)是規(guī)范統(tǒng)一的。例如時(shí)間信息都以yyyy-mm-dd格式存儲(chǔ)。
2、完整性：數(shù)據(jù)是完整不缺失的。例如人員信息完整涵蓋性別、年齡等。
3、準(zhǔn)確性：數(shù)據(jù)是準(zhǔn)確合理的。例如年齡在合理范圍內(nèi)。
4、一致性：同源或跨源的數(shù)據(jù)是一致不沖突的。例如同一個(gè)人在不同源取過(guò)來(lái)的性別都是一致的。
5、關(guān)聯(lián)性：數(shù)據(jù)的關(guān)聯(lián)是不缺失的。例如兩張表建立的關(guān)聯(lián)關(guān)系存在，不丟失數(shù)據(jù)。
6、唯一性：數(shù)據(jù)是唯一不重復(fù)的。例如同一個(gè)ID沒(méi)有重復(fù)記錄。
三、數(shù)據(jù)質(zhì)量影響因素
1、主觀因素：在數(shù)據(jù)各環(huán)節(jié)處理中，由于人員素質(zhì)低和管理缺陷等因素，從而操作不當(dāng)而引起的數(shù)據(jù)質(zhì)量問(wèn)題。
2、客觀因素：在數(shù)據(jù)各環(huán)節(jié)流轉(zhuǎn)中，由于系統(tǒng)異常和流程設(shè)置不當(dāng)?shù)纫蛩?，從而引起的?shù)據(jù)質(zhì)量問(wèn)題。
四、數(shù)據(jù)質(zhì)量管理價(jià)值
建設(shè)一個(gè)完整的數(shù)據(jù)質(zhì)量管理平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行檢核與統(tǒng)計(jì)，從制度、標(biāo)準(zhǔn)、監(jiān)控、流程幾個(gè)方面提升數(shù)據(jù)信息的管理能力，解決項(xiàng)目面臨的數(shù)據(jù)標(biāo)準(zhǔn)問(wèn)題、數(shù)據(jù)質(zhì)量問(wèn)題，為數(shù)據(jù)治理提供準(zhǔn)確的數(shù)據(jù)信息。完成從發(fā)現(xiàn)數(shù)據(jù)問(wèn)題到最后解決數(shù)據(jù)問(wèn)題，不斷提高數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)產(chǎn)生、數(shù)據(jù)交換、到數(shù)據(jù)應(yīng)用過(guò)程中數(shù)據(jù)質(zhì)量的統(tǒng)一管理與控制。
五、數(shù)據(jù)質(zhì)量管理方法有哪些?
1、建立質(zhì)量管控流程和規(guī)范
明確質(zhì)量管控的角色、職責(zé)，建立可執(zhí)行的工作流程、可量化的工作評(píng)估等關(guān)于數(shù)據(jù)質(zhì)量管控辦法，同時(shí)也應(yīng)具備績(jī)效考核、沖突解決與管控方式等。
2、執(zhí)行管理工作
1)數(shù)據(jù)剖析
進(jìn)行已知數(shù)據(jù)問(wèn)題的評(píng)估，評(píng)估的范圍控制在本輪管控的目標(biāo)范圍內(nèi)。通過(guò)對(duì)數(shù)據(jù)進(jìn)行剖析，發(fā)現(xiàn)數(shù)據(jù)問(wèn)題，具體規(guī)則又可通過(guò)標(biāo)準(zhǔn)或業(yè)務(wù)調(diào)研進(jìn)行提取。
2)設(shè)計(jì)數(shù)據(jù)質(zhì)量控制操作程序
獲得已知數(shù)據(jù)問(wèn)題后，就應(yīng)設(shè)計(jì)數(shù)據(jù)質(zhì)量控制操作程序。主要包括制定質(zhì)量問(wèn)題評(píng)估方式和整改方式、制定質(zhì)量報(bào)告內(nèi)容及對(duì)象以及制定檢查和監(jiān)控的頻率及方式。
3)定義數(shù)據(jù)質(zhì)量需求
根據(jù)剖析的質(zhì)檢規(guī)則和控制操作程序，對(duì)數(shù)據(jù)質(zhì)量需求進(jìn)行定義。
4)確定數(shù)據(jù)質(zhì)量水平
數(shù)據(jù)質(zhì)量需求定義完畢之后，我們就需要確定在此需求下，目前數(shù)據(jù)質(zhì)量的水平處于什么位置。明確反應(yīng)質(zhì)量水平的并最直觀的就是錯(cuò)誤數(shù)據(jù)的詳情情況。
5)管理數(shù)據(jù)質(zhì)量問(wèn)題
問(wèn)題找到后，針對(duì)根據(jù)不同的質(zhì)量問(wèn)題，進(jìn)行不同的質(zhì)量整改方案。比如：源頭修改、補(bǔ)錄、技術(shù)修復(fù)以及遺留問(wèn)題管控等。
3、檢查數(shù)據(jù)質(zhì)量
首先確定整改質(zhì)量，對(duì)處理后的數(shù)據(jù)進(jìn)行再次質(zhì)檢，出具數(shù)據(jù)質(zhì)量的報(bào)告;然后，對(duì)比處理前后效果，總結(jié)改進(jìn)措施;最后，檢查數(shù)據(jù)質(zhì)量是否合格，分析不合格原因并下一輪管控中進(jìn)行技術(shù)上或者操作程序上的改進(jìn)。
4、監(jiān)控?cái)?shù)據(jù)質(zhì)量，控制管理程序和績(jī)效
根據(jù)既定的操作程序，對(duì)質(zhì)量管控過(guò)程中各個(gè)環(huán)節(jié)參與者進(jìn)行績(jī)效評(píng)估。還可以根據(jù)不同時(shí)期的重點(diǎn)制定不同的評(píng)分標(biāo)準(zhǔn)，有針對(duì)性的進(jìn)行評(píng)價(jià)和管控，如整改初期數(shù)據(jù)缺失嚴(yán)重，則可對(duì)完整性規(guī)則權(quán)重調(diào)大，以期更快看到成效或者達(dá)到更好的效果。
