? ? ? ?“不是所有可以計(jì)算的東西都有價(jià)值,也不是所有有價(jià)值的東西都能被計(jì)算。”---愛因斯坦
? ? ? ?話題背景
? ? ? ?最近,關(guān)鍵數(shù)據(jù)的概念引起了數(shù)據(jù)管理專業(yè)人士的關(guān)注。我自己也不例外,所以我決定深入研究這個(gè)主題并做一些研究。我的意思是,并非所有數(shù)據(jù)都需要主動(dòng)管理、監(jiān)控和控制。事實(shí)上,這樣做會(huì)使數(shù)據(jù)治理成為人們實(shí)際開展日常活動(dòng)的負(fù)擔(dān)或障礙。這絕不是數(shù)據(jù)治理的重點(diǎn)。我相信數(shù)據(jù)治理的重點(diǎn)是識(shí)別最重要的數(shù)據(jù),并根據(jù)數(shù)據(jù)對(duì)貴公司的價(jià)值按比例管理這些數(shù)據(jù)。我在保險(xiǎn)業(yè)工作時(shí)第一次接觸到這個(gè)概念。他們的規(guī)定之一是償付能力。它主要處理保險(xiǎn)公司的資本充足率,但同時(shí)要求對(duì)資本充足率計(jì)算中使用的所有數(shù)據(jù)進(jìn)行數(shù)據(jù)治理。然而,監(jiān)管者意識(shí)到一個(gè)非常重要的點(diǎn),在這些相當(dāng)復(fù)雜的計(jì)算中,一些數(shù)據(jù)非常重要,而其他數(shù)據(jù)只是為了上下文。現(xiàn)在,如果后面的數(shù)據(jù)是錯(cuò)誤的或缺失的,那么它對(duì)最終計(jì)算的影響要么沒有,要么可以忽略不計(jì)。因此,監(jiān)管機(jī)構(gòu)表示,他們不希望對(duì)這些數(shù)據(jù)實(shí)施相同級(jí)別的數(shù)據(jù)治理,而不是真正重要的數(shù)據(jù),實(shí)際上會(huì)導(dǎo)致計(jì)算出嚴(yán)重錯(cuò)誤的數(shù)字。??當(dāng)我開始嘗試為我合作的第一家保險(xiǎn)公司解決這個(gè)問題時(shí),這對(duì)我來說很有意義。我很快意識(shí)到,將精力集中在最重要的數(shù)據(jù)上是數(shù)據(jù)治理的正確做法。從那時(shí)起,我鼓勵(lì)每一位客戶,無論他們?cè)谀膫€(gè)行業(yè)經(jīng)營(yíng),都采用這種方法。?我們可以為這種方法起一個(gè)名字—— 關(guān)鍵數(shù)據(jù)管理,即它是關(guān)于識(shí)別最重要的數(shù)據(jù)并適當(dāng)?shù)毓芾硭?/strong>但是,請(qǐng)注意,將其稱為“材料數(shù)據(jù)”可能不適合。事實(shí)上,我的一位制造客戶毫不含糊地告訴我,如果您的公司使用材料來制造某些東西,那么“物質(zhì)”這個(gè)術(shù)語絕對(duì)不起作用,因?yàn)椴牧蠑?shù)據(jù)在這種情況下完全意味著其他東西! 識(shí)別關(guān)鍵或重要數(shù)據(jù)是一種非常明智和務(wù)實(shí)的方法,但不一定是一種簡(jiǎn)單的方法。您需要為每個(gè)關(guān)鍵級(jí)別的含義定義一些標(biāo)準(zhǔn),以便數(shù)據(jù)所有者可以根據(jù)標(biāo)準(zhǔn)評(píng)估他們擁有的數(shù)據(jù)并決定它是否重要。?還有一個(gè)有趣的問題是您需要制定多少級(jí)別的關(guān)鍵性??我通常的做法是三個(gè)級(jí)別:高關(guān)鍵性或高重要性數(shù)據(jù)是對(duì)您的業(yè)務(wù)最有價(jià)值的數(shù)據(jù),如果質(zhì)量差,則會(huì)產(chǎn)生最大的負(fù)面影響。中關(guān)鍵性或中等重要性是重要的數(shù)據(jù),但如果質(zhì)量較差,則不會(huì)產(chǎn)生如此大的影響。非關(guān)鍵或非重要數(shù)據(jù)是有用的數(shù)據(jù),可能會(huì)增加上下文,但如果質(zhì)量不是最好的,也不會(huì)造成很大的問題。多年來,一些客戶傾向于只選擇兩個(gè)關(guān)鍵級(jí)別,即關(guān)鍵或不關(guān)鍵。但這感覺有點(diǎn)像全有或全無的方法。數(shù)據(jù)要么有大量的控制、標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量監(jiān)控和報(bào)告,要么什么都沒有。?一位客戶要求我實(shí)施五個(gè)級(jí)別的重要性。老實(shí)說,我真的很難區(qū)分將在五個(gè)類別中應(yīng)用的不同級(jí)別的數(shù)據(jù)治理,最終,我將其合理化為三個(gè)。無論你怎么稱呼它,無論你決定多少層級(jí)都適合你的組織,我真的鼓勵(lì)你在你的數(shù)據(jù)治理計(jì)劃中嘗試這種方法。你真的不能完美地管理所有數(shù)據(jù)。那么,為什么不識(shí)別對(duì)您的組織最重要的數(shù)據(jù)并進(jìn)行適當(dāng)?shù)墓芾砟亍?
? ? ? ?一 關(guān)鍵數(shù)據(jù)的概念
? ? ? ?數(shù)字時(shí)代的特點(diǎn)是各種數(shù)據(jù)的大量存在。組織擁有大量的數(shù)據(jù)實(shí)體和數(shù)據(jù),這些數(shù)據(jù)實(shí)體和數(shù)據(jù)與不同的主題領(lǐng)域相關(guān),如客戶、產(chǎn)品、資產(chǎn)、金融等,并且與之對(duì)應(yīng)的數(shù)據(jù)量也很大。數(shù)據(jù)量每天都在增長(zhǎng),低成本高容量存儲(chǔ)的可用性可以存儲(chǔ)所有這些數(shù)據(jù)。對(duì)于大量的數(shù)據(jù)和存儲(chǔ)在存儲(chǔ)庫中的大量數(shù)據(jù),以及在組織的數(shù)據(jù)管道中流動(dòng)的大量數(shù)據(jù),重要的是要對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行優(yōu)先級(jí)排序,并管理這些關(guān)鍵數(shù)據(jù)的質(zhì)量。這就是關(guān)鍵數(shù)據(jù)概念的來源。…關(guān)鍵數(shù)據(jù)的定義;…使用關(guān)鍵數(shù)據(jù)和關(guān)鍵數(shù)據(jù)元素的原因;…關(guān)鍵數(shù)據(jù)和關(guān)鍵數(shù)據(jù)元素在實(shí)際實(shí)施中的主要挑戰(zhàn)。作為研究的起點(diǎn),我查閱數(shù)據(jù)管理指南和立法文件,以了解他們對(duì)關(guān)鍵數(shù)據(jù)的看法。關(guān)鍵數(shù)據(jù)的概念已經(jīng)出現(xiàn)在 DAMA International 的第二版 DAMA-DMBOK (DAMA-DMBOK 2) 中與數(shù)據(jù)質(zhì)量知識(shí)領(lǐng)域相關(guān)的主題中。DAMA-DMBOK2 僅提供關(guān)鍵數(shù)據(jù)的一般特征。關(guān)鍵數(shù)據(jù)由其用途指定,即“監(jiān)管報(bào)告、財(cái)務(wù)報(bào)告、業(yè)務(wù)政策、持續(xù)運(yùn)營(yíng)、業(yè)務(wù)戰(zhàn)略”?。DAMA-DMBOK2 還強(qiáng)調(diào)“關(guān)鍵性的具體驅(qū)動(dòng)因素因行業(yè)而異”?。巴塞爾銀行監(jiān)管委員會(huì)的標(biāo)準(zhǔn)編號(hào) 239中也引入了關(guān)鍵數(shù)據(jù)概念:“有效風(fēng)險(xiǎn)數(shù)據(jù)匯總和風(fēng)險(xiǎn)報(bào)告的原則”(BCBS 239 或 PERDARR)。BCBS239 在以下情況下談?wù)撽P(guān)鍵數(shù)據(jù):“對(duì)銀行管理其面臨的風(fēng)險(xiǎn)至關(guān)重要的數(shù)據(jù)”?“對(duì)風(fēng)險(xiǎn)數(shù)據(jù)聚合和 IT 基礎(chǔ)設(shè)施計(jì)劃至關(guān)重要的數(shù)據(jù)”?'匯總信息以做出有關(guān)風(fēng)險(xiǎn)的關(guān)鍵決策'?在查閱了這些指南和法規(guī)后,我得出結(jié)論,關(guān)鍵數(shù)據(jù)的概念尚未在各種來源中定義或統(tǒng)一。出于本文的目的,我們可能會(huì)記住以下兩點(diǎn):?關(guān)鍵數(shù)據(jù)影響公司的財(cái)務(wù)和非財(cái)務(wù)管理決策和績(jī)效?關(guān)鍵性標(biāo)準(zhǔn)應(yīng)根據(jù)不同的公司制定。現(xiàn)在讓我們談?wù)剬?shí)現(xiàn)關(guān)鍵數(shù)據(jù)素概念的商業(yè)價(jià)值。簡(jiǎn)而言之,關(guān)鍵數(shù)據(jù)是指如果數(shù)據(jù)質(zhì)量在一個(gè)或多個(gè)數(shù)據(jù)質(zhì)量維度上沒有達(dá)到標(biāo)準(zhǔn),則會(huì)產(chǎn)生直接或間接財(cái)務(wù)影響的數(shù)據(jù)(Mahanti 2019)。在本文中,我們將討論一些關(guān)于數(shù)據(jù)、數(shù)據(jù)質(zhì)量、關(guān)鍵數(shù)據(jù)質(zhì)量的重要性以及數(shù)據(jù)對(duì)業(yè)務(wù)的影響的關(guān)鍵概念。
? ? ? ?二 相關(guān)的數(shù)據(jù)概念
? ? ? ?在我們繼續(xù)之前,讓我解釋一些與數(shù)據(jù)相關(guān)的術(shù)語。數(shù)據(jù)實(shí)體是收集數(shù)據(jù)的真實(shí)世界的對(duì)象、概念、事件和現(xiàn)象。數(shù)據(jù)是描述數(shù)據(jù)實(shí)體的不同屬性。因此,數(shù)據(jù)實(shí)體充當(dāng)容器,由描述它的所有數(shù)據(jù)組成。試想一下有很多產(chǎn)品的超市:肥皂、牛奶、黃油、洗滌劑等等。“產(chǎn)品”是表示商店中產(chǎn)品的數(shù)據(jù)實(shí)體,數(shù)據(jù)可能是產(chǎn)品類型,例如食品、奶制品和清潔產(chǎn)品,產(chǎn)品ID、產(chǎn)品名稱、產(chǎn)品描述、生產(chǎn)日期、過期日期等等,在相關(guān)的數(shù)據(jù)結(jié)構(gòu)中存儲(chǔ)不同產(chǎn)品的屬性值,例如關(guān)系表。另一個(gè)術(shù)語是“數(shù)據(jù)質(zhì)量維度”。這是指定義數(shù)據(jù)質(zhì)量的特征。引用我們示例中的“產(chǎn)品”,這將涉及產(chǎn)品數(shù)據(jù)實(shí)體的每個(gè)記錄中每個(gè)數(shù)據(jù)的有用值的存在,例如數(shù)據(jù)的及時(shí)可用性、數(shù)據(jù)的準(zhǔn)確性、重復(fù)值等等。質(zhì)量維度提供了對(duì)數(shù)據(jù)質(zhì)量的洞察。
? ? ? ?三 數(shù)據(jù)質(zhì)量
? ? ? ?如果數(shù)據(jù)適合其預(yù)期用途,則被認(rèn)為是高質(zhì)量的。換句話說,數(shù)據(jù)質(zhì)量可以定義為對(duì)這些數(shù)據(jù)在給定上下文中是否服務(wù)于某個(gè)目的的評(píng)估。雖然數(shù)據(jù)質(zhì)量是一個(gè)整體的抽象概念,不能測(cè)量數(shù)據(jù)質(zhì)量本身,但它有幾個(gè)維度或方面可以測(cè)量。這些可測(cè)量的方面被稱為數(shù)據(jù)質(zhì)量維度。數(shù)據(jù)質(zhì)量維度的一些例子包括完整性(即值是否存在)、唯一性(與實(shí)體相關(guān)的數(shù)據(jù)不重復(fù)的程度)、準(zhǔn)確性(數(shù)據(jù)值與現(xiàn)實(shí)的接近程度)、有效性(數(shù)據(jù)值是否符合標(biāo)準(zhǔn))和及時(shí)性(數(shù)據(jù)是否及時(shí)可用,以便滿足業(yè)務(wù)需求)。在前面提到的產(chǎn)品示例中,如果我們的目的是跟蹤商店中特定產(chǎn)品的總可用數(shù)量,那么產(chǎn)品的產(chǎn)品號(hào)、過期日期(在適用的情況下)和可用的數(shù)量可能是使用該產(chǎn)品的必要數(shù)據(jù),并且需要是準(zhǔn)確和完整的。過期日期可能不適用于所有產(chǎn)品。例如,食品、乳制品和化妝品需要有一個(gè)保質(zhì)期。但是,像餐具、存儲(chǔ)容器和器皿這樣的產(chǎn)品沒有過期日期,因此這些產(chǎn)品的數(shù)據(jù)將沒有過期日期值。產(chǎn)品描述中過期日期不是必要的數(shù)據(jù)。數(shù)據(jù)質(zhì)量維度的可用數(shù)據(jù)可能是數(shù)據(jù)更新的頻率。如果這些數(shù)據(jù)是實(shí)時(shí)更新的,那將是非常有用的,從而得到高質(zhì)量的數(shù)據(jù)。
? ? ? ?四 哪些數(shù)據(jù)是關(guān)鍵的
? ? ? ?考慮到組織存儲(chǔ)的數(shù)據(jù)數(shù)量龐大,確保組織所有數(shù)據(jù)的質(zhì)量是一項(xiàng)昂貴且資源密集型的工作,不建議這樣做。這是因?yàn)椴⒎撬袛?shù)據(jù)都是關(guān)鍵的。數(shù)據(jù)的價(jià)值是不一樣的,因此不具有同等的重要性。有些數(shù)據(jù)是關(guān)鍵的,組織必須確保它們是高質(zhì)量的,并且符合預(yù)期的用途。有些數(shù)據(jù)是適度關(guān)鍵的。另一方面,一些數(shù)據(jù)可能沒有任何價(jià)值,評(píng)估它們的質(zhì)量是浪費(fèi)時(shí)間、金錢和精力。例如,許多數(shù)據(jù)值是出于可疑的原因捕獲和存儲(chǔ)的,比如作為購買的數(shù)據(jù)模型的一部分,或者從數(shù)據(jù)遷移項(xiàng)目中保留下來,但是它們可能不是實(shí)現(xiàn)任何業(yè)務(wù)目標(biāo)所必需的。評(píng)估此類數(shù)據(jù)的質(zhì)量是浪費(fèi)時(shí)間和精力(Mahanti 2019)。考慮數(shù)據(jù)剖析活動(dòng)涉及到測(cè)量對(duì)公司的直接營(yíng)銷活動(dòng)數(shù)據(jù)的質(zhì)量要求。這里需要回答的問題是,執(zhí)行直接營(yíng)銷活動(dòng)需要什么數(shù)據(jù)?它本質(zhì)上需要客戶聯(lián)系數(shù)據(jù),比如姓名、地址、電子郵件地址等等。應(yīng)該選擇包含客戶聯(lián)系數(shù)據(jù)的正確數(shù)據(jù)源和正確的數(shù)據(jù)(包含客戶姓名、地址、電子郵件地址的字段)。然而,那些記錄評(píng)論和職位頭銜的字段是客戶聯(lián)系數(shù)據(jù)的一部分,但對(duì)于市場(chǎng)活動(dòng)的目的沒有商業(yè)價(jià)值,不需要特別考慮(Mahanti, 2015)
? ? ? ?五 識(shí)別關(guān)鍵數(shù)據(jù)
? ? ? ?關(guān)鍵數(shù)據(jù)可以定義為企業(yè)關(guān)鍵業(yè)務(wù)功能或流程的數(shù)據(jù),如果數(shù)據(jù)質(zhì)量在一個(gè)或多個(gè)數(shù)據(jù)質(zhì)量維度上沒有達(dá)到標(biāo)準(zhǔn),則會(huì)導(dǎo)致客戶不滿、帶來合規(guī)風(fēng)險(xiǎn)或產(chǎn)生直接的財(cái)務(wù)影響(Mahanti 2019)。客戶不滿和監(jiān)管影響會(huì)對(duì)財(cái)務(wù)產(chǎn)生不利影響。例如,不遵守規(guī)定可能會(huì)導(dǎo)致企業(yè)支付罰款。心懷不滿的顧客可能會(huì)把生意轉(zhuǎn)到別處,造成收入損失。一般來說,財(cái)務(wù)影響可能包括處罰成本、失去的機(jī)會(huì)成本、費(fèi)用增加或收入和利潤(rùn)減少。因此,可以使用與數(shù)據(jù)、數(shù)據(jù)組或數(shù)據(jù)實(shí)體有關(guān)的不同數(shù)據(jù)質(zhì)量維度的成本來確定臨界度(Mahanti 2019)。例如,在大多數(shù)以客戶為中心的組織(如金融服務(wù)、電信、公用事業(yè)或零售公司)中,不準(zhǔn)確的名稱和地址數(shù)據(jù)可能會(huì)導(dǎo)致巨大的郵件成本。因此,對(duì)他們來說,地址數(shù)據(jù)非常重要。理解關(guān)鍵數(shù)據(jù)實(shí)體和數(shù)據(jù)的一種方法是考慮依賴于數(shù)據(jù)質(zhì)量的重要企業(yè)業(yè)務(wù),并映射數(shù)據(jù)依賴關(guān)系,即獲取每個(gè)業(yè)務(wù)的信息所需的關(guān)鍵數(shù)據(jù)實(shí)體和相關(guān)數(shù)據(jù)。對(duì)一項(xiàng)企業(yè)業(yè)務(wù)至關(guān)重要的數(shù)據(jù)可能對(duì)另一項(xiàng)企業(yè)業(yè)務(wù)并不重要。例如,零售公司的企業(yè)關(guān)鍵活動(dòng)可能包括銷售報(bào)告和消費(fèi)者行為趨勢(shì)報(bào)告。雖然客戶年齡、年收入和職業(yè)可能是消費(fèi)者行為趨勢(shì)報(bào)告的關(guān)鍵數(shù)據(jù),但它們不是銷售報(bào)告的關(guān)鍵數(shù)據(jù)。另一方面,有些數(shù)據(jù)可能對(duì)大多數(shù)企業(yè)業(yè)務(wù)至關(guān)重要。企業(yè)業(yè)務(wù)可能因行業(yè)部門或業(yè)務(wù)類型而異。以下因素可用于確定數(shù)據(jù)的臨界度:?使用該數(shù)據(jù)的業(yè)務(wù)數(shù)量;?與數(shù)據(jù)相關(guān)的成本;?與數(shù)據(jù)相關(guān)的風(fēng)險(xiǎn);?使用數(shù)據(jù)的業(yè)務(wù)單位、部門、團(tuán)隊(duì)或業(yè)務(wù)用戶的數(shù)量除此之外,某些數(shù)據(jù)和信息非常敏感,從數(shù)據(jù)隱私和安全的角度來說可以被歸類為重要信息。名譽(yù)損害、訴訟費(fèi)用和罰款是敏感數(shù)據(jù)被盜的一些影響。敏感數(shù)據(jù)的例子包括社會(huì)安全號(hào)碼、借記卡號(hào)碼、信用卡號(hào)碼、安全PIN號(hào)碼、密碼和護(hù)照號(hào)碼。有時(shí),單獨(dú)的數(shù)據(jù)可能不被認(rèn)為敏感,但在一組數(shù)據(jù)中就會(huì)變得敏感。個(gè)人可識(shí)別信息就是這種情況的一個(gè)例子(Mahanti 2019)。在組織開始根據(jù)數(shù)據(jù)質(zhì)量的相關(guān)數(shù)據(jù)質(zhì)量維度(數(shù)據(jù)質(zhì)量的可度量方面)評(píng)估其數(shù)據(jù)質(zhì)量之前,確定關(guān)鍵數(shù)據(jù)并確定優(yōu)先級(jí)是必須執(zhí)行的第一步。試圖度量和管理所有數(shù)據(jù)的質(zhì)量可能是一項(xiàng)艱巨的、在財(cái)務(wù)上不可行的工作,注定會(huì)失敗。因此,當(dāng)您考慮評(píng)估和提高數(shù)據(jù)質(zhì)量時(shí),請(qǐng)記住著名物理學(xué)家阿爾伯特·愛因斯坦的名言:“不是所有可以計(jì)算的東西
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)