- 產品
- 產品解決方案
- 行業解決方案
- 案例
- 數據資產入表
- 賦能中心
- 伙伴
- 關于
時間:2022-07-04來源:別跟自己過不去瀏覽數:788次
One Data致力于解決的問題是啥呢?它主要期望建成一個指標一個算法,從算法定義、數據研發到數據服務,可管理追溯從而規避重復建設。
想必做數據的同學對One Data都有所耳聞。但One Data 體系具體包含了內容、有怎樣的應用,不知道大家是否了解?今天我們詳細分享一下One Data體系中關于數據治理(指標體系可參考歷史文章《從余額寶角度看指標體系的搭建》)相關的內容。
01—One Data整體概述
首先,我們看看One Data的整體概況。
(1)關于定位
One Data是阿里系進行數據指標規范定義的規則、工作流及元數據管理系統(關于元數據可以?參考歷史文章)。這里主要囊括了三部分內容:
數據指標規范定義:即數據指標體系規范治理,這部分是我們今天分享的核心內容。
數據模型設計開發:其實就是數倉數據模型設計(可 參考歷史文章),咱們今天不展開了,后面合并在數倉實踐的文章中詳細闡述
數據研發:即所有指標下掛物理表關聯信息回流+算法服務化接口對接外部系統,今天暫時不詳細展開
從下面阿里的整體架構圖中,能清楚看到One Data體系的定位與作用。

(2)關于目標
One Data致力于解決的問題是啥呢?它主要期望建成一個指標一個算法,從算法定義、數據研發到數據服務,可管理追溯從而規避重復建設。
指標規范定義:一個指標只有一個英文字段、一個中文字段、一個算法定義,避免不同部門口中的指標邏輯不同一問題。
研發流程:數據研發物理表結構創建發布的引用字段全部依托指標規范定義的結果
數據服務:一個主題下的同主鍵邏輯表,僅提供規范定義的唯一一個數據指標

通過提供標準的(standard)、服務化的(service)、安全的(safe)、共享的(shared)數據,以消除業務和技術之痛。
02—數據指標體系治理
上面我們提到了One Data主要的內容包括數據指標體系、數據建模等。下面,我們看一下指標體系治理的整體概況。
(1)指標體系及示例
指標體系的整體架構如下:

在這里,阿里將一個最終的數據指標(派生指標)層層拆解,比如拆解出修飾詞、維度等等,通過這種方式將指標規范化、體系化。不然,一堆指標在一起,只能是指標字典,而不是指標體系。
派生指標由原子指標、時間周期修飾詞、若干其他修飾詞組合得到。

原子指標、修飾類型及修飾詞,直接歸屬在業務過程下,其中修飾詞繼承修飾類型的數據域。
派生指標可以選擇多個修飾詞,修飾詞之間的關系為‘或’或者‘且’的關系,具體由具體的派生指標語義決定。
派生指標唯一歸屬一個原子指標,繼承原子指標的數據域、與修飾詞的數據域無關。
原子指標有確定的英文字段名、數據類型和算法說明;派生指標要繼承原子指標的英文名、數據類型和算法要求。
(2)指標命名規范
名所用術語盡量使用英文簡寫,其次是英文,當指標英文名太長時,可考慮用漢語拼音首字母命名。如中國質造,用zgzc。在OneData工具中,維護了常用的名詞術語,以用來進行命名。
派生指標英文名:原子指標英文名+時間周期修飾詞(=3位,例如,_1d)+序號?(=4位,例如,_001)。派生指標中文名:時間周期修飾詞+[其他修飾詞]+原子指標。
我們拿一個指標「最近1天SEO來源的海外搜索UV」舉例,看中英文指標名稱的命名規范。

修飾詞只有時間周期才會有英文名,且長度為2位,加上“_”為三位,例如_1d。阿里常用的時間周期修飾詞列表如下:

原子指標必須掛靠在某個業務過程下。中文英文名:動作+度量。

在OneData 工具中,英文名與中文名都會由OneData 工具自動生成。

派生指標為了控制英文名稱過長,在英文名的理解和規范上做了取舍,所有修飾詞的含義都納入了序號中。序號是根據原子指標+派生指標自增的。
(3)相關名詞解釋
關于指標體系的相關名詞,可參考下表解釋:


03—指標體系規范細則
下面針對指標體系的規范細則詳細展開說明。派生指標可以分為三類:事務型指標、存量型指標和復合型指標。按照其特性不同,有些必須新建原子指標,有些可以在其他類型原子指標基礎上增加修飾詞形成派生指標。
事務型指標是指對業務活動進行衡量的指標。例如,新發商品數,重發商品數,新增注冊會員數,訂單支付金額,這類指標需維護原子指標及修飾詞,在此基礎上創建派生指標。
存量型指標是指對實體對象(如商品、會員),某些狀態的統計。例如,商品總數,注冊會員總數,這類指標維護原子指標及修飾詞,在此基礎上創建派生指標,對應的時間周期一般為“歷史截止到當前某個時間”。
復合型指標是在事務性指標和存量型指標基礎上復合而成的,例如,瀏覽UV-下單買家數轉化率,有些需要創建新原子指標,有些則可以在事務性或存量型原子指標基礎上、增加修飾詞得到派生指標。
(1)比率型
比率型需創建原子指標。例如,CTR,瀏覽UV-下單買家數轉化率,滿意率等。舉例:“最近1天店鋪首頁CTR”。
原子指標為“CTR”,
時間周期為“最近1天”,
修飾類型為“頁面類型”
修飾詞為“店鋪首頁
(2)比例型
比例型需創建原子指標。例如,百分比、占比。舉例:“最近1天無線支付金額占比”
原子指標為“支付金額占比”,
修飾類型為“終端類型”,
修飾詞為“無線。
(3)變化量型
變化量型不創建原子指標,增加修飾詞,在此基礎上創建派生指標。舉例:“最近1天訂單支付金額上1天變化量”,
原子指標為“訂單支付金額”,
時間周期為“最近1天”,
修飾類型為“統計方法”,
修飾詞為“上1天變化量”。
(4)變化率型
變化率型創建原子指標。舉例:“最近7天海外買家支付金額上7天變化率”,
原子指標為”支付金額變化率”,
修飾類型為“買家地域”,
修飾詞為“海外買家”。
(5)統計型
統計型(均值、分位數等)不創建原子指標,增加修飾詞,在此基礎上創建派生指標;在修飾類型“統計方法”下增加修飾詞:人均、日均、行業平均、商品平均、90分位數、70分位數等。舉例:自然月日均UV,
原子指標為UV,
修飾詞為“統計方法”,
修飾詞為“日均”。
(6)排名型
創建原子指標,一般為top_xxx_xxx,有時會同時選擇rank和top_xxx_xxx 組合使用。
創建派生指標時選擇對應的修飾如下:
統計方法(例如:降序,升序);
排名名次(例如:TOP10);
排名范圍(例如:行業、省份、一級來源等);
根據什么排序(例如:搜索次數,瀏覽PV)

(7)對象集合型
創建原子指標,一般為xxx串;創建派生指標時選擇對應的修飾如下:
統計方法(例如:降序,升序);
排名名次(例如:TOP10);
排名范圍(例如:行業,區域)
示例如下:

關于指標體系的細節規范,就先介紹這些。
04—產品化設計與操作
最后,我們詳細看一下阿里如何對指標體系治理進行的產品化設計。
(1)整體結構
整體菜單結構如下:

(2)權限體系
不得不說,阿里對于數據權限的控制是非常嚴格和嚴謹的。
權限分配流程如下:

權限范圍如下:

角色權限如下:

(3)規范定義
查找:搜索+分類檢索+篩選項+排序方式選擇+狀態再次篩選

一般情況,均通過頁面右上角新建按鈕進行新建。修飾詞,提交審核,系統自動通過。

維度屬性,支持批量導入:


維度可進行下掛子維度管理,如:商品有所屬類目,類目為父維度,商品為子維度;可以查看一個維度的父子維度信息。


關于One Data中指標體系治理相關的內容,我們就分享這些。文章中也提到了,One Data其實不止包括數據指標治理,也有數據建模的內容,這塊相關的實踐我們后面再詳細分享。