日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

數據質量管理方法

時間:2019-11-15來源:知乎瀏覽數:4934

1.數據質量管理框架
數據質量閉環管理機制以制定規則、問題發現、質量剖析、數據清理、評估驗證、持續監控為核心活動(圖2),又結合銀行的數據實踐進行了定制和優化。通常戴明環的四個活動是計劃-實施-檢查-行動,從質量管理角度出發執行循環工作機制。目前銀行數據需求情況復雜多樣,通過分析數據質量問題級別進行分類,有大規模跨部門的系統級建設或改造需求,也有業務口徑、技術口徑確定等中等問題,還有小范圍的標準代碼值修改等輕微問題,為此閉環機制在設計和實踐中要充分考慮多種需求。

分解管理框架中的各項活動,首先是根據企業數據標準制定數據質量校驗的業務和技術規則,以及對應的數據質量問題發現及管理;然后按照數據質量維度對抽樣或全局數據進行剖析,并結合評估驗證進行數據清理;最后通過數據質量持續監控,以數據質量報告的形式匯報并反映數據質量的狀況及問題。數據全過程質量管理框架以改進數據質量為目標,確保數據的準確、完整、一致和及時性。通過制定數據質量關鍵性能指標或積分卡,評估數據質量的改善情況,并形成常態化數據質量管理閉環機制,以凸顯數據質量管理的長效機制。

2.數據質量管理策略
從數據管理能力角度分析,數據質量管理策略主要負責質量剖析、評估、清理三項管理內容。在具體實踐中,數據質量管理主要分為事件式驅動與主動管理兩種模式。事件式驅動適合所有的應用場景,根據實際應用產生的各種數據質量需求均可納入數據質量管理機制,通過相對固定的流程來解決。主動管理適用的范圍相對嚴格一些,必須有明確的目標導向,以充分利用資源和能力。

目前適合銀行的數據質量主動管理主要偏重基礎數據和監管報送數據,二者都有明確的要求,能夠清晰的制定度量規則,并且整個管理過程也滿足數據治理的現狀。在數據應用流程中的數據服務、分析、挖掘等工作中,應將數據質量剖析、評估活動納入正常工作流程,將其中不滿足要求的數據問題反饋給數據質量管理人員,納入閉環工作機制進行處理。

分析數據質量管理對象,首先要重點監控企業現有數據資產的情況,結合數據質量剖析、驗證、清理等活動,結合數據分析應用保障數據價值實現;其次,還要充分考慮新數據源的加入,結合元數據相關內容探測數據變化,及時揭示數據質量風險并納入管理機制。

3.數據質量指標定義
低質量的數據會影響業務目標的完成,數據質量管理人員必須找到并使用數據質量指標,報告數據缺陷與受影響業務目標之間的關系。定義數據質量指標的過程存在著挑戰,識別并管理業務相關的數據質量指標,可以與監控業務活動績效相類比,數據質量指標應該合理地反映數據質量情況,為數據質量管理提供量化依據。

在定義數據質量指標的過程中,需要充分考慮可度量性、業務相關性、可接受程度、可控性、可追蹤性等特性,并與數據認責制度充分結合。首先需要分析業務影響,并評估相關的數據元素以及數據生命周期流程;其次針對每個數據元素,列出與之相關的數據需求,并定義數據質量維度以及業務規則;最后針對業務規則,描述度量需求滿足度的流程,并定義可接受程度的閾值。

4.數據質量剖析方法
企業數據質量的剖析方法主要包括三種,具體為字段剖析、記錄剖析和表間剖析,通常能夠覆蓋所有的數據資產。實際管理中數據質量剖析用于判斷質量情況,為后續的數據質量驗證及數據質量清理提供依據,并且數據質量監控規則的制定提供技術口徑。

字段剖析用于分析數據記錄中的字段,將提供諸如完整性、數據類型、大小、長度、唯一值和頻率分布列表、模式、最大和最小范圍。字段剖析可用于發現數據質量問題,核實數據與預期值的符合性,并比較實際數據和目標需求。

記錄剖析用于分析表格或文件內部字段之間的關聯關系,進而能夠發現實際數據結構、函數依賴關系、主鍵和數據結構中存在的質量問題,也可用于預測預期用戶對數據的依賴關系。

表間分析用于比較表格或文件之間的數據,確定重疊的或相同的數值集,識別重復值或指出外鍵,判斷數據的一致性等。表間剖析的結果可以幫助標準化數據模型,在模型中消除無用的冗余。

5.數據質量監控技術
在數據質量監控環節將數據質量控制和測量流程嵌入到信息處理流程,從而實現可持續的質量監控。依據數據粒度分布情況,采用兩種形式來監控數據質量滿足業務要求的情況。結合數據質量剖析方法,有字段、記錄、表間三種粒度數據質量監控方法,對應的評價指標對應覆蓋字段數據值、數據記錄以及完整的數據集。

根據監控目標,數據質量監控分為常規閉環監控以及批量運動式兩種,這與數據質量的需求來源保持對應關系。企業整體數據質量要求通過閉環機制進行持續監控推進,支持業務運營和基礎的數據應用;對于數據分析、挖掘探索對應的質量需求,以及系統建設的需求,可以通過批量式以項目重要環節的形式完成質量監控。

提高數據質量的方法
要想真正解決數據質量問題,明確業務需求并從需求開始控制數據質量,并建立數據質量管理機制。從業務出發做問題定義,由工具自動、及時發現問題,明確問題責任人,通過郵件、短信等方式進行通知,保證問題及時通知到責任人。跟蹤問題整改進度,保證數據質量問題全過程的管理。

正所謂,工欲善其事,必先利其器。億信華辰睿治數據治理平臺的數據質量管理模塊以全面質量管理PDCA循環管理方法為指導,充分結合國內數據質量管理工作的特點,運用元數據管理、數據挖掘、數據分析、工作流、評分卡、可視化等技術最終幫助企業和政府建立數據質量管理體系,全面提升數據的完整性、規范性、及時性、一致性、邏輯性等,降低數據管理成本,減少因數據不可靠導致的決策偏差和損失。

1、構建數據質量規則庫
定義數據驗證方法,內嵌空值檢查、值域檢查等13種檢查規則,基本覆蓋目前數據質量相關問題。

2、發現數據質量問題
靈活定義多模型質檢方案,多點監測、多模型質檢方案,高效調度,并發和串行處理相結合,性能高效,只需2分30秒,便可完成20條規則百萬級數據的質量檢查。

3、出具全面的“體檢報告”
內置常規質檢分析報告,實時可視化呈現質檢結果,質檢結果模型靈活擴展,充分利用了BI工具的分析展現能力,提供圖文并茂的質量檢查結果報告。

4、數據質量全流程管理
提供從標準定義、質量監控、績效評估、質量分析、質量報告、重大問題及時告警、流程整改發起、系統管理等數據質量管理全過程的功能,不僅能發現問題、還能將問題分發給數據負責人、管理者,在線跟蹤問題處理進展。

(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢