日日碰狠狠躁久久躁96avv-97久久超碰国产精品最新-婷婷丁香五月天在线播放,狠狠色噜噜色狠狠狠综合久久 ,爱做久久久久久,高h喷水荡肉爽文np肉色学校

睿治

智能數(shù)據(jù)治理平臺(tái)

睿治作為國(guó)內(nèi)功能最全的數(shù)據(jù)治理產(chǎn)品之一,入選IDC企業(yè)數(shù)據(jù)治理實(shí)施部署指南。同時(shí),在IDC發(fā)布的《中國(guó)數(shù)據(jù)治理市場(chǎng)份額》報(bào)告中,連續(xù)四年蟬聯(lián)數(shù)據(jù)治理解決方案市場(chǎng)份額第一。

關(guān)于數(shù)據(jù)治理的實(shí)踐與思考

時(shí)間:2022-09-25來源:風(fēng)軟一江水瀏覽數(shù):209

導(dǎo)讀:

本文結(jié)合過去一段時(shí)間云音樂數(shù)據(jù)開發(fā)團(tuán)隊(duì)在數(shù)倉(cāng)建設(shè)、數(shù)據(jù)治理方面的具體實(shí)踐,分享我們?cè)跀?shù)據(jù)治理方面的一些思路。

如今的云音樂已經(jīng)成為一款大眾產(chǎn)品,用戶每天來云音樂聽歌、看評(píng)論、逛社區(qū),這個(gè)過程中沉淀下來了海量用戶數(shù)據(jù)。平臺(tái)現(xiàn)在每天收集處理的用戶日志已經(jīng)達(dá)到千億級(jí)別,整個(gè)集群處理加工使用的數(shù)據(jù)總量達(dá)到了200PB。解決這么大規(guī)模下數(shù)據(jù)存儲(chǔ)、處理、使用中的技術(shù)問題,作為一名數(shù)據(jù)開發(fā)首先是感到興奮,但另一方面更多的數(shù)據(jù)意味著花費(fèi)更大硬件支出去做計(jì)算、存儲(chǔ)。如何發(fā)揮數(shù)據(jù)的價(jià)值,證明這筆錢花得值,同時(shí)降本增效最大化數(shù)據(jù)使用的ROI,是我們一直以來思考并且努力去解決的問題。

從我們調(diào)研大量類似發(fā)展階段公司的經(jīng)驗(yàn)來看,在這個(gè)時(shí)期推動(dòng)數(shù)據(jù)治理,是一條被證明可行并能帶來巨大價(jià)值的道路。

那么什么是數(shù)據(jù)治理?實(shí)際上數(shù)據(jù)治理的范疇相當(dāng)廣泛,按照Google對(duì)于數(shù)據(jù)治理的定義,它包含了數(shù)據(jù)生命周期(從獲取、使用到處置)內(nèi)對(duì)其進(jìn)行管理的所有原則性方法。涵蓋確保數(shù)據(jù)安全、私有、準(zhǔn)確、可用和易用所執(zhí)行的所有操作,包括必須采取的行動(dòng)、必須遵循的流程以及在整個(gè)數(shù)據(jù)生命周期中為其提供支持的技術(shù)。

這么一看好像我們做的很多事情都可以往這個(gè)框子里裝。但同時(shí)數(shù)據(jù)治理有那么多的方向可以做,又可以從什么點(diǎn)入手?下面的篇幅中,我分享一些云音樂數(shù)據(jù)團(tuán)隊(duì)過去在數(shù)據(jù)建設(shè)中做的工作,以及近期在做數(shù)據(jù)治理方面的思路和進(jìn)展,最后會(huì)整理總結(jié)下在現(xiàn)階段我們眼中的數(shù)據(jù)治理體系是什么樣的?

1前期一些工作

在前面幾年的工作中云音樂數(shù)據(jù)團(tuán)隊(duì)在數(shù)倉(cāng)建設(shè)方面主要經(jīng)歷了幾個(gè)階段:

1.1 完善公共層建模及建立相應(yīng)的設(shè)計(jì)、研發(fā)規(guī)范。

通過“任督計(jì)劃”,團(tuán)隊(duì)重點(diǎn)完成了幾件事情:編寫整理了《云音樂數(shù)據(jù)倉(cāng)庫(kù)建模規(guī)范》,并在該規(guī)范基礎(chǔ)上與杭研共建了“easyDesign”數(shù)倉(cāng)模型設(shè)計(jì)系統(tǒng)。同時(shí)也對(duì)云音樂的數(shù)據(jù)主題域、主題域之間關(guān)系進(jìn)行了系統(tǒng)性的梳理輸出,完善了覆蓋全業(yè)務(wù)的總線矩陣。以上工作的開展讓云音樂的數(shù)據(jù)資產(chǎn)沉淀開始變得有方向,在后面的大半年內(nèi),完成了關(guān)于人、物、場(chǎng)景等實(shí)體的大量數(shù)據(jù)公共層建設(shè)。

1.2 數(shù)據(jù)鏈路治理

在完善自身的開發(fā)設(shè)計(jì)規(guī)范之外,我們總結(jié)用戶使用中反饋的問題,也把一部分精力投入到上下游數(shù)據(jù)鏈路的治理中。其中碰到比較突出的問題是埋點(diǎn)質(zhì)量,我們?cè)?0年初開始做了第一個(gè)埋點(diǎn)治理的項(xiàng)目,主要的目標(biāo)是希望通過標(biāo)準(zhǔn)的流程和對(duì)應(yīng)的平臺(tái)工具把埋點(diǎn)的設(shè)計(jì)、開發(fā)、測(cè)試這個(gè)過程規(guī)范起來,做好事前、事中、事后的管理。音樂相關(guān)團(tuán)隊(duì)和杭研經(jīng)過碰撞共建,討論制定埋點(diǎn)流程、規(guī)范并完成系統(tǒng)化,埋點(diǎn)管理平臺(tái)“EasyTracker”面世。在此基礎(chǔ)上,數(shù)倉(cāng)的小伙伴又花了大約半年的時(shí)間,把原有幾千個(gè)埋點(diǎn)做了遷移,基本實(shí)現(xiàn)了埋點(diǎn)格式的標(biāo)準(zhǔn)化以及埋點(diǎn)流程的規(guī)范和可管理。

1.3 推動(dòng)自助取數(shù),發(fā)揮數(shù)據(jù)生產(chǎn)力

杭州研究院汪院之前提出要做到人人用數(shù)據(jù),天天看數(shù)據(jù)。我們重點(diǎn)去思考了怎么解決數(shù)據(jù)最后一公里問題。在工具層面,有數(shù)很快給出了EasyFetch(自助取數(shù))的原型,后面的一段時(shí)間兩邊同學(xué)基本上是背靠背在解決各個(gè)問題,優(yōu)化體驗(yàn)。經(jīng)過幾輪迭代下來,EasyFetch在功能性和易用性方面均能滿足業(yè)務(wù)的訴求。而我們重點(diǎn)思考的是怎么樣把工具的價(jià)值發(fā)揮到最大,這中間的核心還是數(shù)據(jù),要有好用的適合自助取數(shù)分析的數(shù)據(jù)模型。通過大量的貼近業(yè)務(wù)線的應(yīng)用層關(guān)鍵數(shù)據(jù)模型建設(shè),以及開展的以下幾件事情:

明確每個(gè)指標(biāo)、口徑,并明確其使用方法;

加入數(shù)據(jù)首頁(yè),對(duì)每個(gè)數(shù)據(jù)模塊進(jìn)行使用場(chǎng)景介紹;

前前后后約30+場(chǎng)線上線下培訓(xùn),針對(duì)每條業(yè)務(wù)線的運(yùn)營(yíng)、策劃成立自助取數(shù)POPO運(yùn)維群,甚至一對(duì)一解決問題。

基本上做到自助取數(shù)的業(yè)務(wù)全覆蓋,整個(gè)2020年通過EasyFetch完成的自助取數(shù)超過15萬(wàn)次,內(nèi)部用戶400多人,最大日活超過100人。

2數(shù)據(jù)治理三件事

前期幾方面的工作下來可以說解決了階段性的問題,進(jìn)入21年云音樂啟動(dòng)了IPO,整個(gè)21年分析師團(tuán)隊(duì)和數(shù)據(jù)開發(fā)花了大量時(shí)間產(chǎn)出各類投資人關(guān)注的數(shù)據(jù)、指標(biāo)、報(bào)告。同時(shí)業(yè)務(wù)方在更大的業(yè)務(wù)目標(biāo)牽引下,有了更多、更精細(xì)化的運(yùn)營(yíng)動(dòng)作,隨之而來的又是大量的分析、取數(shù)需求,更多的數(shù)據(jù)模型建設(shè)需求,還有更快速的響應(yīng)時(shí)效要求。

2021年12月云音樂順利上市,團(tuán)隊(duì)很好的完成了IPO數(shù)據(jù)項(xiàng)目。下個(gè)階段,如何做得更好?數(shù)據(jù)建設(shè)、數(shù)據(jù)治理最終是要服務(wù)于業(yè)務(wù)發(fā)展目標(biāo)。下個(gè)階段團(tuán)隊(duì)核心的目標(biāo)是要能支持業(yè)務(wù)挖掘增量、運(yùn)營(yíng)存量,實(shí)現(xiàn)更精細(xì)化的運(yùn)營(yíng)。所以在數(shù)據(jù)的生產(chǎn)端,我們提出了要建立數(shù)據(jù)的精益生產(chǎn)體系,為業(yè)務(wù)提供統(tǒng)一、易用、準(zhǔn)確、穩(wěn)定的數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)。

在已有數(shù)據(jù)建設(shè)的基礎(chǔ)上要實(shí)現(xiàn)這個(gè)目標(biāo),有賴于開展更有效、體系化的數(shù)據(jù)治理,其中我們把質(zhì)量治理、資產(chǎn)化、降本增效作為22年工作的重點(diǎn)目標(biāo)。通過吸收已有的數(shù)據(jù)治理方法論(如DAMA)和業(yè)內(nèi)公司的一些好的實(shí)踐經(jīng)驗(yàn),展開了大量工作。

2.1 質(zhì)量治理

很多人會(huì)問,你們做了這么久的數(shù)倉(cāng)為什么還在抓質(zhì)量問題?數(shù)據(jù)建模的設(shè)計(jì)、開發(fā)標(biāo)準(zhǔn)化是不是已經(jīng)解決了這個(gè)問題?我的回答是:魔鬼在細(xì)節(jié)。就像每個(gè)汽車生產(chǎn)企業(yè),對(duì)于車輛的生產(chǎn)過程,基本上也是標(biāo)準(zhǔn)化的,但豐田的質(zhì)量就要比發(fā)明標(biāo)準(zhǔn)化流水線的福特更好。核心還在于對(duì)生產(chǎn)過程更細(xì)致的拆解和更有效的管理。所以質(zhì)量管理是一個(gè)永無止境的問題,針對(duì)現(xiàn)階段的目標(biāo),我們重點(diǎn)從制定質(zhì)量標(biāo)準(zhǔn)、強(qiáng)化規(guī)范執(zhí)行、優(yōu)化平臺(tái)工具幾方面去開展工作。

上圖是我們針對(duì)質(zhì)量穩(wěn)定性拆解需要做的事情,而每一個(gè)工作又可以細(xì)化出一個(gè)專項(xiàng)甚至幾個(gè)。

以元數(shù)據(jù)中心為例:作為定義數(shù)據(jù)的數(shù)據(jù),元數(shù)據(jù)幫助我們更好的理解和刻畫數(shù)據(jù)本身以及反應(yīng)數(shù)據(jù)與數(shù)據(jù)的準(zhǔn)確關(guān)系,是數(shù)據(jù)治理的基礎(chǔ)。另一方面,元數(shù)據(jù)本身也是一種數(shù)據(jù),也存在缺失、不準(zhǔn)確等等問題,也需要治理。在云音樂的數(shù)據(jù)治理工作中,我們把元數(shù)據(jù)梳理及可獲取列為優(yōu)先的工作開展。


上面的表格列了具體的分類細(xì)項(xiàng)和我們推動(dòng)解決的一些問題,中間和有數(shù)一起花了一個(gè)季度的時(shí)間,通過雙周迭代的方式最終做到元數(shù)據(jù)可獲取,完整性準(zhǔn)確性達(dá)到了我們治理的要求,也為我們后續(xù)的數(shù)據(jù)治理打下了一個(gè)堅(jiān)實(shí)的基礎(chǔ)。

再以執(zhí)行側(cè)的任務(wù)運(yùn)維為例,生產(chǎn)環(huán)境的穩(wěn)定性和安全對(duì)每個(gè)數(shù)據(jù)團(tuán)隊(duì)來說都是頭等大事。曾經(jīng)有一份統(tǒng)計(jì),工業(yè)化生產(chǎn)過程中大部分安全問題來自于人,具體到杜邦的數(shù)據(jù)是96%。作為技術(shù)人員我們總是期望開發(fā)更好的工具去規(guī)避風(fēng)險(xiǎn),而往往忽視了人的能動(dòng)性。這并不是說把質(zhì)量、安全這件事情簡(jiǎn)單轉(zhuǎn)化為對(duì)人的考核。當(dāng)一個(gè)人不知道應(yīng)該做什么事情去達(dá)成目標(biāo)時(shí),他也沒法為這件事情負(fù)責(zé)。團(tuán)隊(duì)前期花了非常多的時(shí)間去整理值班運(yùn)維手冊(cè),把信息同步、問題告警、原因分析、問題升級(jí)、記錄&復(fù)盤等等環(huán)節(jié)做成了SOP,同時(shí)制定了最重要的兩條軍規(guī),(1)生產(chǎn)無小事”——再小的生產(chǎn)問題都要重視。(2)“哪里來的問題回到哪里去”——有始有終,最終處理結(jié)論一定要同步到問題開始的地方。一段時(shí)間下來執(zhí)行效果顯著,今年上半年,整體任務(wù)破線率下降了60%,另一個(gè)重要的指標(biāo),線上修復(fù)時(shí)長(zhǎng)降低了80%,這代表數(shù)據(jù)問題得到了更快速的處置。其他每個(gè)細(xì)項(xiàng)的工作,限于篇幅不再一一展開介紹,有機(jī)會(huì)單獨(dú)整理分享。

2.2 資產(chǎn)化

數(shù)據(jù)資產(chǎn)化的前提是數(shù)據(jù)成為生產(chǎn)要素,核心是要在生產(chǎn)中被使用且?guī)韮r(jià)值,對(duì)于數(shù)倉(cāng)建設(shè)來說就要解決可用、易用問題,同時(shí)要解決數(shù)據(jù)與業(yè)務(wù)價(jià)值關(guān)聯(lián)性的問題。而這些問題是否解決了,解決的程度如何需要有明確的標(biāo)準(zhǔn)來衡量。雖然我們每天在與各種指標(biāo)打交道,但對(duì)于自身數(shù)據(jù)建設(shè),我們?cè)诹炕u(píng)估指標(biāo)體系這件事情上思考是不足的。如何準(zhǔn)確快速地回答“你們的數(shù)倉(cāng)建得怎么樣?”這類問題經(jīng)常困擾我們,如果把它當(dāng)做一道證明題去回答,可能需要從幾個(gè)方面闡述:首先介紹下我們數(shù)倉(cāng)整體的設(shè)計(jì)規(guī)范是什么樣的,從業(yè)務(wù)過程梳理到標(biāo)準(zhǔn)業(yè)務(wù)總線矩陣輸出,再到具體模型的設(shè)計(jì)遵循哪些原則和范式。然后可能會(huì)貼一張大圖,闡述下基本的分層,業(yè)務(wù)線的劃分等等。或者再補(bǔ)充下我們已經(jīng)建了多少個(gè)表,事實(shí)表有多少,維表有多少等等。或者再?gòu)膬r(jià)值層面做補(bǔ)充,通過一些show case去證明數(shù)據(jù)的magic power。

實(shí)際情況是提問的人可能并沒有那么耐心花一個(gè)小時(shí)去聽,然后還需要自己去判斷得出結(jié)論。對(duì)于最終用戶來說什么樣的設(shè)計(jì)規(guī)范和生產(chǎn)流程真的是他們最關(guān)心的嗎?顯然不是。所以最近的一段時(shí)間我們反思了過去的一些不成功經(jīng)驗(yàn),也吸收了很多業(yè)內(nèi)好的實(shí)踐,提出了新的用戶視角的標(biāo)準(zhǔn)來衡量數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的現(xiàn)狀。即“三度模型”,從建設(shè)進(jìn)度、資產(chǎn)健康度、業(yè)務(wù)價(jià)值度這幾方面制定了量化的目標(biāo)來定義建設(shè)水平,并且從這些目標(biāo)出發(fā)制定了數(shù)據(jù)資產(chǎn)化的整體規(guī)劃。

在完成上述目標(biāo)的過程中,團(tuán)隊(duì)也逐步摸索總結(jié)出一套工作的方法論(如上圖),從制定相應(yīng)的標(biāo)準(zhǔn),到通過流程和工具完善治理能力,再到與相關(guān)方建立渠道持續(xù)運(yùn)營(yíng),三板斧下來,拿到結(jié)果變得可以預(yù)期。經(jīng)過一段時(shí)間持續(xù)的溝通(安利)和討論,各業(yè)務(wù)團(tuán)隊(duì)的用戶逐漸對(duì)這套標(biāo)準(zhǔn)建立了共識(shí)。

少了長(zhǎng)篇大論做證明題,而是定期把各項(xiàng)達(dá)成共識(shí)的指標(biāo)透明化出來,結(jié)合結(jié)果做分析輸出,溝通成本變低了!對(duì)用戶來說,交付結(jié)果更可追蹤可預(yù)期,對(duì)數(shù)據(jù)團(tuán)隊(duì)來說工作的努力、拿到的結(jié)果也更容易從數(shù)據(jù)層面來體現(xiàn)。

就以資產(chǎn)復(fù)用率為例,經(jīng)過大半年的模型重構(gòu),以及對(duì)老模型的逐步下線(累計(jì)下線2.4萬(wàn)張表),我們的數(shù)據(jù)資產(chǎn)復(fù)用率從30%,直接提升到55%,這表示我們的數(shù)據(jù)使用效率上得到了接近一倍的提升,同時(shí)這個(gè)數(shù)據(jù)與業(yè)內(nèi)工作進(jìn)行比較也看到目前云音樂數(shù)據(jù)資產(chǎn)整體的復(fù)用率在一個(gè)比較健康的水平,未來半年內(nèi)我們也有信心可以提升到比較先進(jìn)的水平。

2.3 降本增效

近期大環(huán)境的影響讓很多公司感受到“寒氣”,在業(yè)務(wù)面臨多重壓力,“降本增效”顯得尤為重要:通過降本增效提升企業(yè)生存耐力,為未來更快增長(zhǎng)積蓄潛力,成為一種戰(zhàn)略手段。云音樂數(shù)據(jù)團(tuán)隊(duì)的降本增效工作大致是從三個(gè)方面展開:

(1)成本

首先要算清大帳,關(guān)于這一點(diǎn)要感謝有數(shù)的同學(xué),雖然每個(gè)月的賬單都讓人看得心驚肉跳,但是整體的收費(fèi)情況,每個(gè)服務(wù)類目的支出以及對(duì)應(yīng)的變更日志都列的非常清楚。使得我們可以把精力花在盤點(diǎn)各個(gè)服務(wù)水位上。有了總的和分類目的支出,以及各服務(wù)的水位整體情況,基本上可以對(duì)大帳有個(gè)清晰的概念,如下表(音樂離線集群部分盤點(diǎn)):


有了成本大圖,需要進(jìn)一步把成本下鉆拆解到業(yè)務(wù)線、團(tuán)隊(duì)以及個(gè)人,拆解的過程中也碰到一些諸如任務(wù)歸屬責(zé)任人不清楚,血緣數(shù)據(jù)缺失等等問題,更進(jìn)一步證明了元數(shù)據(jù)在數(shù)據(jù)治理中的重要性,好在我們和有數(shù)的同學(xué)花了一個(gè)季度的時(shí)間終于把元數(shù)據(jù)的問題搞定,做到了可用并且可視化。

(2)計(jì)劃

這里簡(jiǎn)單列一下我們整體的計(jì)劃大綱,確定了幾個(gè)重點(diǎn):1.前面介紹到的先搞定元數(shù)據(jù),讓治理結(jié)果有數(shù)可依,治理過程精準(zhǔn)把控。2.優(yōu)先解決占成本大頭的存儲(chǔ)和計(jì)算的優(yōu)化問題。

除了大綱確定具體方向和專項(xiàng)目標(biāo)以外,具體到推進(jìn)過程中我們從正反兩個(gè)思路去解決一個(gè)一個(gè)問題:正推,陣地戰(zhàn),對(duì)于那些可以通過元數(shù)據(jù)的掃描梳理出治理目標(biāo),推進(jìn)相對(duì)容易,可以按照迭代推進(jìn),逐步拿到結(jié)果。反推,攻堅(jiān)戰(zhàn),很多資源消耗產(chǎn)出鏈路是正常的,對(duì)應(yīng)著正常的下游報(bào)表和功能。但經(jīng)過多年的迭代,很多數(shù)據(jù)和功能已經(jīng)不看了或者有更好的替代,需要去從最終的使用情況盤點(diǎn)和推進(jìn)解決,這個(gè)過程中需要依賴數(shù)據(jù),也要有重點(diǎn)地搞。甚至,在溝通中還需要那么一點(diǎn)戰(zhàn)斗精神...

(3)優(yōu)化

作為碼農(nóng)團(tuán)隊(duì),降本增效只靠運(yùn)動(dòng)式大掃除短期內(nèi)能拿到確定性結(jié)果,長(zhǎng)期做肯定不行,技術(shù)優(yōu)化還是第一生產(chǎn)力。舉個(gè)例子,音樂業(yè)務(wù)優(yōu)化結(jié)果比較顯著的一塊是通過和有數(shù)合作的Spark3+Z-order+Zstd改造優(yōu)化拿到的。Spark3發(fā)布以來團(tuán)隊(duì)一直在關(guān)注AQE等重要特性,希望通過優(yōu)化大量的SQL執(zhí)行計(jì)劃,提高整體集群Spark作業(yè)的性能和穩(wěn)定性。而杭研的同學(xué)在Spark方面有大量深入的研究,經(jīng)過調(diào)研除了AQE,也推薦我們通過引入Z-order提升文件壓縮率,從而提升整體的存儲(chǔ)資源效率。上半年經(jīng)過多輪迭代、測(cè)試以及任務(wù)改造,我們完成了:

hive任務(wù)升級(jí)spark3.1,升級(jí)任務(wù)266個(gè),升級(jí)任務(wù)消耗資源占比95%,優(yōu)化之后的執(zhí)行耗時(shí)降低60%以上,優(yōu)化之后計(jì)算資源費(fèi)用減少60%;

spark2升級(jí)spark3,完成631個(gè)spark2任務(wù)的升級(jí),升級(jí)任務(wù)消耗資源占比90%,優(yōu)化之后資源節(jié)省28.71%,性能提升52.07%;

spark3.1+zorder+gzip專項(xiàng)治理:升級(jí)優(yōu)化170個(gè),節(jié)省存儲(chǔ)占比68%,節(jié)省日均存儲(chǔ)55T,折合存儲(chǔ)成本798.3W/Y。

計(jì)算資源方面,經(jīng)過一系列的升級(jí)動(dòng)作,集群的穩(wěn)定性在較長(zhǎng)的一段時(shí)間內(nèi)保持穩(wěn)定,給后續(xù)的基線530項(xiàng)目(核心產(chǎn)出提前到每天5:30)提供了較好的保障。

存儲(chǔ)方面,日增趨勢(shì)放緩,由原來的日增170T,下降到日增50T(有一部分來自生命周期管理效果)。

3一些體系化思考

近期一段時(shí)間的數(shù)據(jù)治理工作坐下來,簡(jiǎn)單總結(jié)下我們所做的事情,大概可以以一張圖來簡(jiǎn)單概括:

(1)方法論:沒有理論指導(dǎo)的實(shí)踐是盲目的,數(shù)倉(cāng)建模、數(shù)據(jù)治理,都已經(jīng)沉淀了較為成熟的理論體系,無論是熟知的DAMA數(shù)據(jù)管理知識(shí)體系,還是業(yè)內(nèi)各團(tuán)隊(duì)的專家對(duì)于數(shù)據(jù)治理的總結(jié)思考都為我們提供了非常好的理論和方法指引。

另一方面這些方法本質(zhì)上是工具箱,不同團(tuán)隊(duì)的發(fā)展階段、業(yè)務(wù)訴求不同,對(duì)應(yīng)的數(shù)據(jù)治理方向和目標(biāo)也就不同,必然對(duì)應(yīng)著使用不同的工具去解決問題。

(2)標(biāo)準(zhǔn):我們現(xiàn)階段在云音樂做的數(shù)據(jù)全生命周期治理,相應(yīng)的標(biāo)準(zhǔn)化是貫穿在事前、事中、事后全過程的。事前建立共識(shí)、明確的可量化的目標(biāo),最好簽字畫押。比如我們的質(zhì)量穩(wěn)定性SLA標(biāo)準(zhǔn)、數(shù)據(jù)資產(chǎn)三度評(píng)估標(biāo)準(zhǔn)、資源水位量化評(píng)估標(biāo)準(zhǔn)等,事中要細(xì)化每一個(gè)執(zhí)行環(huán)節(jié)制定標(biāo)準(zhǔn)動(dòng)作,包括流程的建立,以及在每個(gè)節(jié)點(diǎn)上的SOP(比如我們的運(yùn)維軍規(guī)、研發(fā)紅線),做到執(zhí)行者有章可循。事后也要結(jié)合事前的目標(biāo),用評(píng)估標(biāo)準(zhǔn)來衡量完成的質(zhì)量和進(jìn)度,開始下一個(gè)循環(huán)。

(3)組織:數(shù)據(jù)治理一定是服務(wù)于業(yè)務(wù)的愿景和戰(zhàn)略,并不是一個(gè)脫離具體環(huán)境的萬(wàn)金油任務(wù),數(shù)據(jù)治理解決什么問題需要被明確定義。在云音樂,業(yè)務(wù)發(fā)展進(jìn)入成熟期,精細(xì)化運(yùn)營(yíng)對(duì)取數(shù)看數(shù)質(zhì)量、易用性等訴求以及整體降本增效的大背景促使我們提出了質(zhì)量、資產(chǎn)化、降本增效三方面的目標(biāo)。

關(guān)于執(zhí)行以及角色分工,我們認(rèn)為數(shù)據(jù)治理應(yīng)該是一個(gè)融入生產(chǎn)過程,全員參與的事情。不建議通過增加新的獨(dú)立崗位,或者設(shè)立委員會(huì)的方式去推動(dòng)數(shù)據(jù)治理的落地,而是通過明確職責(zé)分工,落實(shí)主體責(zé)任來進(jìn)行。另外,為了防止數(shù)據(jù)團(tuán)隊(duì)既當(dāng)裁判員又當(dāng)運(yùn)動(dòng)員,整個(gè)體系增加對(duì)抗性來保持穩(wěn)定運(yùn)行,我們?cè)诤芏嘀卫磉^程是通過與兄弟團(tuán)隊(duì)合作來完成。比如在質(zhì)量穩(wěn)定性目標(biāo)中,雖然sla標(biāo)準(zhǔn)整體由數(shù)據(jù)團(tuán)隊(duì)來牽頭,但過程的考核監(jiān)督、報(bào)告、復(fù)盤是由QA團(tuán)隊(duì)來完成。

(4)技術(shù):對(duì)于平臺(tái)化工具,我們堅(jiān)持的觀點(diǎn)是先有具體問題,再有對(duì)應(yīng)流程規(guī)范、最后才是工具。我們雖然有平臺(tái)開發(fā)小組,整體工作并沒有追求大而全,更多還是以實(shí)用為主,無用的輪子也少很多。

以上可以認(rèn)為是數(shù)據(jù)治理中我們可以拿到的α收益,但有時(shí)新技術(shù)的創(chuàng)新、演進(jìn)可能超出我們的想象,所以拿到新技術(shù)發(fā)展的β收益,要求我們必須保持對(duì)新技術(shù)的跟蹤同時(shí)經(jīng)常與杭研公技團(tuán)隊(duì)做技術(shù)交流。這是一件必須要堅(jiān)持做的事情,過去的工作中帶給我們非常大的收益,這里也感謝有數(shù)團(tuán)隊(duì)對(duì)我們的支持。

(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請(qǐng)聯(lián)系刪除)
立即申請(qǐng)數(shù)據(jù)分析/數(shù)據(jù)治理產(chǎn)品免費(fèi)試用 我要試用
  • 相關(guān)主題
  • 相關(guān)大數(shù)據(jù)問答
  • 相關(guān)大數(shù)據(jù)知識(shí)
customer

在線咨詢

在線咨詢

點(diǎn)擊進(jìn)入在線咨詢