企業(yè)在數(shù)據(jù)治理過程中會遇到各種難題,如數(shù)據(jù)規(guī)模大,加工復(fù)雜、風(fēng)險(xiǎn)相關(guān)數(shù)據(jù)對抗時(shí)效要求高等。在數(shù)據(jù)的使用過程中又會浮現(xiàn)復(fù)用難、重復(fù)建設(shè)多,以及數(shù)據(jù)劇增等情況,因而導(dǎo)致整體成本增長過快、數(shù)據(jù)管理難、安全生產(chǎn)突出…面對這些問題,螞蟻大安全也在不斷嘗試,尋找適合螞蟻大安全的數(shù)據(jù)治理方案和架構(gòu)。
目前螞蟻大安全基于元數(shù)據(jù)體系建設(shè)及相關(guān)技術(shù)探索,在數(shù)據(jù)治理方面取得了一些收益和成效。InfoQ 采訪了螞蟻集團(tuán)大安全大數(shù)據(jù)技術(shù)團(tuán)隊(duì)數(shù)據(jù)架構(gòu)及治理負(fù)責(zé)人康樹鵬,他就上述內(nèi)容進(jìn)行了分享,希望對你有所啟發(fā)。
與此同時(shí),康樹鵬也會在 7 月 16 日深圳 ArchSummit 全球架構(gòu)師峰會上分享更詳細(xì)的內(nèi)容,歡迎關(guān)注。
InfoQ:在數(shù)據(jù)治理過程中,螞蟻集團(tuán)主要存在哪些問題?
康樹鵬:在我看來,螞蟻大安全的數(shù)據(jù)治理過程中,從成本治理角度,主要存在以下幾個(gè)問題,1、數(shù)據(jù)研發(fā)人員多,對成本及數(shù)據(jù)治理認(rèn)知不一;2、螞蟻經(jīng)過多年業(yè)務(wù)發(fā)展,數(shù)據(jù)復(fù)雜性極高;3、數(shù)據(jù)治理過程中,需要解決數(shù)據(jù)孤島等問題;4、數(shù)據(jù)治理底層基礎(chǔ)設(shè)施需不斷完善。
InfoQ:與電商類或其他業(yè)務(wù)類相比,金融類的數(shù)據(jù)治理,有沒有本質(zhì)上的區(qū)別?
康樹鵬:金融類的數(shù)據(jù)治理與電商及其他業(yè)務(wù)相比,在治理方法和工具能力上是有很多共同點(diǎn)的,但金融類業(yè)務(wù)對數(shù)據(jù)的一致性、可用性、完整性及合規(guī)性提出了更高要求,一方面,金融業(yè)務(wù)強(qiáng)調(diào)防范金融風(fēng)險(xiǎn),治理過程要嚴(yán)格保障不對風(fēng)險(xiǎn)識別、防范能力及系統(tǒng)產(chǎn)生影響;另外一方面,金融數(shù)據(jù)(比如交易流水)保存時(shí)間有嚴(yán)格的法律要求,不能簡單治理或清理。
InfoQ:螞蟻集團(tuán)大安全,數(shù)據(jù)治理是從什么時(shí)候開始的?如果將治理過程分階段,您會如何劃分?為什么?
康樹鵬:螞蟻大安全的數(shù)據(jù)治理一直都在做,如果分階段的話,從我的角度可以分為三個(gè)階段:第一階段,分散式、運(yùn)動式的治理,治理由各個(gè)業(yè)務(wù)線的數(shù)據(jù)團(tuán)隊(duì)分別負(fù)責(zé);第二階段,集中式、綜合式的治理,我們啟動了數(shù)據(jù)治理專項(xiàng)計(jì)劃,形成數(shù)據(jù)治理專項(xiàng)小組統(tǒng)一了大安全的數(shù)據(jù)架構(gòu)標(biāo)準(zhǔn)。在治理過程中結(jié)合資產(chǎn)模型重構(gòu),對安全數(shù)據(jù)進(jìn)行了整體的盤點(diǎn)和治理,提升了大安全數(shù)據(jù)整體的使用效率和架構(gòu)水位;第三階段,常態(tài)化、體系化的治理,將治理融入到日常的研發(fā)和工作當(dāng)中,做成常態(tài)化及體系化的治理。下一階段,治理需要向智能化方向推進(jìn),同時(shí)數(shù)據(jù)作為新的生產(chǎn)要素,需要在市場化方向進(jìn)行嘗試和探索。
InfoQ:您負(fù)責(zé)了螞蟻大安全的數(shù)據(jù)治理,在您看來,想要進(jìn)行數(shù)據(jù)治理,應(yīng)該包括哪幾個(gè)方面?
康樹鵬:數(shù)據(jù)治理一般包含以下四個(gè)方向:1、 數(shù)據(jù)架構(gòu)方面的治理,數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)規(guī)范層面;2、數(shù)據(jù)安全方面的治理,數(shù)據(jù)隱私、合規(guī)、共享等方面 ; 3、數(shù)據(jù)質(zhì)量方面的治理,數(shù)據(jù)內(nèi)容一致性、產(chǎn)出時(shí)效等方面;4、數(shù)據(jù)成本方面的治理,存儲、計(jì)算、運(yùn)維等方面。
InfoQ:數(shù)據(jù)質(zhì)量應(yīng)該是治理的重中之重,例如多產(chǎn)品指標(biāo)邏輯不同、數(shù)據(jù)一致性等問題,螞蟻大安全是如何解決這些問題的?
康樹鵬:螞蟻大安全為上億用戶,每日千萬筆交易提供實(shí)時(shí)的風(fēng)險(xiǎn)防控,數(shù)據(jù)質(zhì)量關(guān)乎著風(fēng)險(xiǎn)防控的水位。為了保障數(shù)據(jù)質(zhì)量,首先在研發(fā)階段,我們有研發(fā)規(guī)范及變更管控能力,確保變更都是經(jīng)過測試和驗(yàn)證的;在生產(chǎn)階段,有相應(yīng)的質(zhì)量檢查規(guī)則,在數(shù)據(jù)生成后進(jìn)行業(yè)務(wù)規(guī)則校驗(yàn):當(dāng)數(shù)據(jù)在業(yè)務(wù)策略生效后,業(yè)務(wù)系統(tǒng)也會針對業(yè)務(wù)指標(biāo)進(jìn)行監(jiān)控,當(dāng)有異常時(shí)可以進(jìn)行快速的止血和回滾,保障業(yè)務(wù)穩(wěn)定;在離線數(shù)據(jù)研發(fā)階段,我們會有資產(chǎn)判重的能力,當(dāng)有相似邏輯發(fā)布上線,會進(jìn)行發(fā)布管控?cái)r截;在核心底層資產(chǎn)建設(shè)過程中,會利用資產(chǎn)平臺的指標(biāo)管理能力,確保指標(biāo)不重、不錯(cuò)、好用。
InfoQ:許多公司越來越重視數(shù)據(jù)成本上的治理,螞蟻大安全的思路是什么?
康樹鵬:數(shù)據(jù)成本主要來源于存儲、計(jì)算、運(yùn)維等,目前重點(diǎn)治理對象為存儲和計(jì)算,大安全的治理思路主要從以下幾個(gè)方面入手。
首先是成本及治理意識的提升,針對現(xiàn)狀進(jìn)行盤點(diǎn),并對核心團(tuán)隊(duì)及用戶進(jìn)行宣導(dǎo)和合作,確保治理目標(biāo)一致;
存量治理,通過專項(xiàng)方式進(jìn)行攻堅(jiān),保障整體的 ROI;
增量部分,確保工具化管控能力落地,保障數(shù)據(jù)的合理新增;
產(chǎn)品能力方面,通過構(gòu)建整體的數(shù)字化治理體系,保障常態(tài)化治理的推進(jìn)
資產(chǎn)治理和建設(shè)相結(jié)合,大安全從前兩年開始推進(jìn)《精品資產(chǎn)》建設(shè)項(xiàng)目,旨在通過提升優(yōu)質(zhì)資產(chǎn)的厚度和復(fù)用度,提升整體的研發(fā)效率,降低煙囪,保障業(yè)務(wù)可持續(xù)的健康發(fā)展。
InfoQ:關(guān)于元數(shù)據(jù)中心建設(shè)方面,螞蟻利用元數(shù)據(jù)在數(shù)據(jù)治理上有哪些比較創(chuàng)新的探索?
康樹鵬:元數(shù)據(jù)是數(shù)據(jù)治理的關(guān)鍵基礎(chǔ)設(shè)施,在治理識別、決策、管控、效果分析等過程中提供底層數(shù)據(jù)支撐;例如以元數(shù)據(jù)血緣來說,螞蟻構(gòu)建了更精細(xì)化的血緣數(shù)據(jù),從任務(wù)血緣、表級血緣、字段血緣、以及業(yè)務(wù)應(yīng)用側(cè)血緣。同時(shí)螞蟻使用數(shù)據(jù)應(yīng)用末端場景注冊這種創(chuàng)新的方式,將業(yè)務(wù)場景、血緣數(shù)據(jù)及在線系統(tǒng)結(jié)合起來,形成一個(gè)業(yè)務(wù)場景切面,在鏈路影響分析、重點(diǎn)業(yè)務(wù)保障、節(jié)點(diǎn)分層打標(biāo)等方面都有很好幫助。
InfoQ:對于中小公司來說,您認(rèn)為可以借鑒的治理路徑有哪些?或者說您踩過的坑點(diǎn),是否有可以分享給大家的?
康樹鵬:在我看來,一個(gè)公司是否啟動數(shù)據(jù)治理,需要理清公司當(dāng)前的數(shù)據(jù)現(xiàn)狀,定義出數(shù)據(jù)方面的關(guān)鍵問題,是成本問題、數(shù)據(jù)質(zhì)量問題還是數(shù)據(jù)效率問題,根據(jù)關(guān)鍵問題進(jìn)行入手;假如一個(gè)公司要進(jìn)行數(shù)據(jù)成本治理,需要考慮下 ROI,特別是研發(fā)成本;同時(shí)需要同公司領(lǐng)導(dǎo)層達(dá)成共識,要給予數(shù)據(jù)治理大力支持,保障數(shù)據(jù)治理戰(zhàn)略的落地和執(zhí)行,從人員意識層面要進(jìn)行宣導(dǎo),達(dá)成治理共識;
其次,需要盡可能地將各個(gè)業(yè)務(wù)環(huán)節(jié)數(shù)字化,建立一套元數(shù)據(jù)體系,通過數(shù)字化的方式發(fā)現(xiàn)問題并制定合理的治理目標(biāo),前期可以通過專項(xiàng)式的治理,快速達(dá)成治理目標(biāo);最后,需要將治理過程中能夠標(biāo)準(zhǔn)化、工具化、自動化的流程沉淀下來,落地到系統(tǒng)當(dāng)中,做成常態(tài)化治理方案,持續(xù)推進(jìn)治理。以上,是我推薦的一個(gè)治理路徑。
坑點(diǎn)分享:治理需要做成常態(tài)化,之前啟動過數(shù)據(jù)治理專項(xiàng),發(fā)現(xiàn)當(dāng)時(shí)達(dá)到了治理目標(biāo),但是幾個(gè)月過后,數(shù)據(jù)成本等問題又出現(xiàn)了,其實(shí)這個(gè)過程只是做到了治標(biāo),但是沒有治本,我們要分析數(shù)據(jù)問題的根因,是資產(chǎn)建設(shè)不足、數(shù)據(jù)管控力度不夠還是治理意識不足?治理是一個(gè)持續(xù)性的過程,治理經(jīng)驗(yàn)需要有工具化平臺將治理能力落地成常態(tài)化機(jī)制。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)