日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數據治理平臺

睿治作為國內功能最全的數據治理產品之一,入選IDC企業數據治理實施部署指南。同時,在IDC發布的《中國數據治理市場份額》報告中,連續四年蟬聯數據治理解決方案市場份額第一。

企業如何解決數據質量問題

時間:2022-01-14來源:互聯網瀏覽數:532

大數據的建設和管理是一個專業且復雜的工程,涵蓋了業務梳理、標準制定、元數據管理、數據模型管理、數據匯聚、清洗加工、中心存儲、資源目錄編制、共享交換、數據維護、數據失效等等過程。中間任何一個環節出問題,都將導致數據質量問題。
大部分大型組織經過大數據建設,已經獲得比較好的數據建設成果,也有了比較可觀的數據量的積累,但將這些數據直接拿來支撐業務的辦理卻是一個很大的風險,原因就是只要一筆數據不正確,都可能帶來很大的業務風險,導致客戶的抱怨,這也正是業務部門對大數據建設成果報有懷疑態度的重要原因。

在大數據建設項目的執行過程,將其分為事前預防、事中監控、事后改善三個階段。

1、事前預防
制定質量管理機制:基于數據管理的復雜性和誘因的多重性特點,解決數據質量問題僅僅依靠一個技術工具是不夠的,我們需要建立長效工作機制。即根據組織特點,制定符合自身環境的工作制度,制定每個環節的工作流程,規定各個參與方的責任,確定各項數據的權威部門,制定數據質量指標,制定數據質量修復流程等等。
制定數據質量標準:數據標準成功定義的與否,直接決定了大數據建設的成果和數據質量的高低,需要在融合國家標準、行業標準和地方標準的基礎上,融合組織自身的業務特色需求。
制定質量監測模型:數據質量模型代表的是業務需求,它是從業務需求的角度而描述出來的質量需求。
制定質量監測規則:數據監測規則代表的具體的質量檢測手段,它是從技術角度來描述數據質量要求是如何被滿足的,包括規范性、完整性、準確性、致性、時效性、可訪問性,等等。

2、事中監控
監控原始數據質量:數據采集工作從數據源頭獲取最原始的數據,在數據采集過程中將數據分為“好數據”“壞數據”,“好數據”入庫,“壞數據”則反饋給源頭修復,因為數據來源部門最懂這些數據,也最能在源頭上把數據問題徹底修復掉。
監控數據中心質量:經過各種采集、清洗、加工過程,數據被存入數據倉庫中,這些數據也將被業務部門使用,所以,對于這些成果數據的質量監控和修復則猶為重要。對于這類數據問題,我們可能使用簡單的空值檢查、規范性檢查、值域檢查、邏輯檢查、一致性檢查、等等規則就可以檢查出來,也可能需要諸如多源比較、數據佐證、數據探索、波動檢查、離群檢查等等方法才可以檢查出來。
反饋數據質量問題:數據質量監控過程中,會發現兩類問題,一類是源頭的數據質量問題,一類是數據中心的數據質量問題,數據質量團隊需要將這些問題及時反饋給源頭部門和數據倉庫建設團隊。
考核數據質量考核:數據質量的考核是為了能夠引起各個參與部門和參與團隊對數據質量的重視,需要及時統計分析各種數據質量問題,并制定出相應的應對措施。

3、事后改善
修復數據質量問題:發現質量問題不是最終的目標,我們仍要建立相關的流程和工具,通過手工、工單、自動化等等手段將質量問題修復掉,從而為業務創新提供可靠的數據支撐。
收集數據質量需求:通過數據中心的建設,質量問題的修復,必然能夠促進數據的應用,我們仍要建立通暢的數據質量反饋通道,讓各個部門參與到數據質量的再次完善中來,從而形成建設、應用和反饋的良性循環。
完善質量管理制度:制度和流程的建設并不是一蹴而就的,我們要在數據建設和質量完善的過程中,結合自身組織結構和業務特色,不斷完善工作制度。
完善數據質量標準:各行各業不斷涌現新的業務形態,原有的業務也在不斷的變化,我們要緊跟業務的變化,不斷完善符合業務需求的數據標準。
完善質量監測模型:如前所述,監測模型代表的業務需求,業務形態的變化、數據標準的變化和質量新需求的出現,同樣要求監測模型能夠做出相應的變化。
完善質量監測規則:同樣,如今的信息化技術發展日新月異,我們要不斷引入各種新技術來更加智能地發現和修復數據質量問題。
(部分內容來源網絡,如有侵權請聯系刪除)
立即申請數據分析/數據治理產品免費試用 我要試用
customer

在線咨詢

在線咨詢

點擊進入在線咨詢