有效
數據治理的6大原則?
如果你常常對數據準確性而煩惱,大部分時間都用于處理數據而不是對業(yè)務進行思考分析的話,那么你需要好好對數據進行治理了。
一、為什么要進行數據治理
不知道你是否有這樣的感受,看到數據后,一臉懵逼,不知道各個表和字段代表什么意思,再看看別的同事寫的SQL,一條SQL語句有幾百行,各種表關聯(lián),然后問了其中一個同事,他說“別提了,數據都不準,我快被數據折磨死了!”,此時你是不是“想死”!欲哭無淚……
究其背后的原因,是因為負責的人只是問題使然,哪有問題哪里去補,沒有整體的統(tǒng)籌規(guī)劃,一步錯,步步錯,數據最后是越來越重,查詢越來越復雜,數據準確性還沒有人敢打保票,同時修復的難度也大大增加。
二、如何進行數據治理
如果要想將數據治理好的話,需要遵循以下六大原則、合理制定數據中間表模型以及埋點采集到應用全流程的把控。
1. 六大原則原則1:關鍵概念多方共識
關鍵概念若涉及多方,比如成交客戶的定義,要確保公司內部和客戶相關的所有業(yè)務人員理解一致。
你或許會說,成交客戶還不好理解么,就是購買了我公司產品且簽署合同的用戶就是一個成交客戶,但是實際情況遠非如此,筆者當時處理該塊的業(yè)務時,問不同的業(yè)務人員得到的結果都不一樣,這樣就造成了數據指標統(tǒng)計的歧義甚至數據的不準確。
當一個合同主體變換名稱(含工商注冊名稱變更、更換簽約公司等),那么這個客戶算一個成交客戶嗎?
同一個 集團/公司 下,不同的 子公司/業(yè)務線/部門 用同一個名字簽署多個不同合同,屬于單個成交客戶還是多個成交客戶?
當合同還在「待確認」或未拿到合同編號時,如果客戶運營人員已經開始服務客戶,那么這個客戶算一個成交客戶嗎?……
原則2:某個類型的值經常發(fā)生變動,則需要冗余一個通用字段冗余值
筆者是深受其害,以前每個月底都需要找開發(fā)、業(yè)務人員對一遍數據,舉個例子:
查詢原始指標:soure_type為A,B的任務產出的金幣數額為消費指標,SQL已針對該指標做了類型篩選。某一天業(yè)務運營人 員上線新的任務,C類型的任務會貢獻金幣流水,但是開發(fā)未告知數據人員,導致原來的關鍵指標數值出現差錯。
處理過數據的同學都知道,某個指標的實現可能和其它幾個關鍵指標相關,那么該指標的異常排查就需要逐個檢查是哪個相關指標出問題了,查找到原因可能2,3天的時間就沒了,但如果事先開發(fā)人員冗余了一個通用字段代表該類消費指標,那么后續(xù)不管業(yè)務人員上線多少個消費類型的任務,都不會對原來的指標產生影響。
原則3:每個實體都有唯一、不變的ID,最好沒有實際意義
一是為了實體的唯一性,二是為了表關聯(lián)或更新時不受業(yè)務的影響。
原則4:涉及協(xié)作的數據,發(fā)現問題要從修改源頭做起,保證下一次拿到正確的數據
協(xié)作的數據可以說是一個串聯(lián)的過程,源頭的數據會逐層影響下層的數據,不要為了一時方便,只修改目前發(fā)現問題的地方,要從修改源頭做起,方便他人即方便自己。
原則5:編寫操作清單,操作前請三思
數據間存在關聯(lián),把數據間的關聯(lián)關系陳列清楚、注意事項標注清楚,操作前一一核對,小數據量驗證無錯后,大數據量執(zhí)行。
原則6:系統(tǒng)工程的方法管理數據,盡可能使用系統(tǒng),監(jiān)控數據錯誤并及時修復。
將使用數據的相關方都畫在一張系統(tǒng)循環(huán)圖中,觀察數據錯誤產生于系統(tǒng)哪個環(huán)節(jié),如何影響后續(xù)各個環(huán)節(jié),避免惡性循環(huán)的產生。
(部分內容來源網絡,如有侵權請聯(lián)系刪除)