上一篇：詳解維度建模之事實(shí)表

作為一個(gè)數(shù)據(jù)人，是不是經(jīng)常被各種名詞圍繞，是不是對(duì)其中很多概念認(rèn)知模糊。有些詞雖然只有一字之差，但是它們意思完全不同，今天我們就來(lái)了解下數(shù)倉(cāng)建設(shè)及數(shù)據(jù)分析時(shí)常見(jiàn)的一些概念含義及它們之間的關(guān)系。

本文結(jié)構(gòu)如下圖所示：

一、數(shù)倉(cāng)中常見(jiàn)概念解析

1. 實(shí)體

實(shí)體是指依附的主體，就是我們分析的一個(gè)對(duì)象，比如我們分析商品的銷售情況，如華為手機(jī)近半年的銷售量是多少，那華為手機(jī)就是一個(gè)實(shí)體；我們分析用戶的活躍度，用戶就是一個(gè)實(shí)體。當(dāng)然實(shí)體也可以現(xiàn)實(shí)中不存在的，比如虛擬的業(yè)務(wù)對(duì)象，活動(dòng)，會(huì)員等都可看做一個(gè)實(shí)體。

實(shí)體的存在是為了業(yè)務(wù)分析，作為分析的一個(gè)篩選的維度，擁有描述自己的屬性，本身具有可分析的價(jià)值。

2. 維度

維度就是看待問(wèn)題的角度，分析業(yè)務(wù)數(shù)據(jù)，從什么角度分析，就建立什么樣的維度。所以維度就是要對(duì)數(shù)據(jù)進(jìn)行分析時(shí)所用的一個(gè)量，比如你要分析產(chǎn)品銷售情況，你可以選擇按商品類別來(lái)進(jìn)行分析，這就構(gòu)成一個(gè)維度，把所有商品類別集合在一起，就構(gòu)成了維度表。

3. 度量

度量是業(yè)務(wù)流程節(jié)點(diǎn)上的一個(gè)數(shù)值。比如銷量，價(jià)格，成本等等。

事實(shí)表中的度量可分為三類：完全可加，半可加，不可加。

完全可加的度量是最靈活，最有用的，比如說(shuō)銷量，銷售額等，可進(jìn)行任意維度匯總；

半可加的度量可以對(duì)某些維度匯總，但不能對(duì)所有維度匯總，差額是常見(jiàn)的半可加度量，它除了時(shí)間維度外，可以跨所有維度進(jìn)行加法操作；

還有一種是完全不可加的，例如：比率。對(duì)于這類非可加度量，一種好的方法是，盡可能存儲(chǔ)非可加度量的完全可加分量，并在計(jì)算出最終的非可加事實(shí)前，將這些分量匯總到最終的結(jié)果集中。

4. 粒度

粒度就是業(yè)務(wù)流程中對(duì)度量的單位，比如商品是按件記錄度量，還是按批記錄度量。

在數(shù)倉(cāng)建設(shè)中，我們說(shuō)這是用戶粒度的事實(shí)表，那么表中每行數(shù)據(jù)都是一個(gè)用戶，無(wú)重復(fù)用戶；例如還有銷售粒度的表，那么表中每行都是一條銷售記錄。

選擇合適的粒度級(jí)別是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)好壞的重要關(guān)鍵內(nèi)容，在設(shè)計(jì)數(shù)據(jù)粒度時(shí)，通常需重點(diǎn)考慮以下因素：

要接受的分析類型、可接受的數(shù)據(jù)最低粒度和能存儲(chǔ)的數(shù)據(jù)量；

粒度的層次定義越高，就越不能在該倉(cāng)庫(kù)中進(jìn)行更細(xì)致的分析；

如果存儲(chǔ)資源有一定的限制，就只能采用較高的數(shù)據(jù)粒度劃分；

數(shù)據(jù)粒度劃分策略一定要保證：數(shù)據(jù)的粒度確實(shí)能夠滿足用戶的決策分析需要，這是數(shù)據(jù)粒度劃分策略中最重要的一個(gè)準(zhǔn)則。

5. 口徑

口徑就是取數(shù)邏輯（如何取數(shù)的），比如要取的數(shù)是10歲以下兒童中男孩的平均身高，這就是統(tǒng)計(jì)的口徑。

6. 指標(biāo)

指標(biāo)是口徑的衡量值，也就是最后的結(jié)果。比如最近七天的訂單量，一個(gè)促銷活動(dòng)的購(gòu)買轉(zhuǎn)化率等。

一個(gè)指標(biāo)具體到計(jì)算實(shí)施，主要有以下幾部分組成：

指標(biāo)加工邏輯，比如count ,sum, avg

維度，比如按部門、地域進(jìn)行指標(biāo)統(tǒng)計(jì)，對(duì)應(yīng)sql中的group by

業(yè)務(wù)限定/修飾詞，比如以不同的支付渠道來(lái)算對(duì)應(yīng)的指標(biāo)，微信支付的訂單退款率，支付寶支付的訂單退款率 。對(duì)應(yīng)sql中的where。

除此之外，指標(biāo)本身還可以衍生、派生出更多的指標(biāo)，基于這些特點(diǎn)，可以將指標(biāo)進(jìn)行分類：

原子指標(biāo)：基本業(yè)務(wù)事實(shí)，沒(méi)有業(yè)務(wù)限定、沒(méi)有維度。比如訂單表中的訂單量、訂單總金額都算原子指標(biāo)；

業(yè)務(wù)方更關(guān)心的指標(biāo)，是有實(shí)際業(yè)務(wù)含義，可以直接取數(shù)據(jù)的指標(biāo)。比如店鋪近1天訂單支付金額就是一個(gè)派生指標(biāo)，會(huì)被直接在產(chǎn)品上展示給商家看。但是這個(gè)指標(biāo)卻不能直接從數(shù)倉(cāng)的統(tǒng)一中間層里取數(shù)（因?yàn)闆](méi)有現(xiàn)成的事實(shí)字段，數(shù)倉(cāng)提供的一般都是大寬表）。需要有一個(gè)橋梁連接數(shù)倉(cāng)中間層和業(yè)務(wù)方的指標(biāo)需求，于是便有了派生指標(biāo)

派生指標(biāo)：維度+修飾詞+原子指標(biāo)。店鋪近1天訂單支付金額中店鋪是維度，近1天是一個(gè)時(shí)間類型的修飾詞，支付金額是一個(gè)原子指標(biāo)；

維度：觀察各項(xiàng)指標(biāo)的角度；修飾詞：維度的一個(gè)或某些值，比如維度性別下，男和女就是2種修飾詞。

衍生指標(biāo)：比如某一個(gè)促銷活動(dòng)的轉(zhuǎn)化率就是衍生指標(biāo)，因?yàn)樾枰黉N投放人數(shù)指標(biāo)和促銷訂單數(shù)指標(biāo)進(jìn)行計(jì)算得出。 7. 標(biāo)簽

標(biāo)簽是人為設(shè)定的、根據(jù)業(yè)務(wù)場(chǎng)景需求，對(duì)目標(biāo)對(duì)象運(yùn)用一定的算法得到的高度精煉的特征標(biāo)識(shí)。可見(jiàn)標(biāo)簽是經(jīng)過(guò)人為再加工后的結(jié)果，如網(wǎng)紅、白富美、蘿莉。對(duì)于有歧義的標(biāo)簽，我們內(nèi)部可進(jìn)行標(biāo)簽區(qū)分，比如：蘋果，我們可以定義蘋果指的是水果，蘋果手機(jī)才指的是手機(jī)。畫像標(biāo)簽數(shù)據(jù)體系實(shí)踐。

8. 自然鍵

由現(xiàn)實(shí)中已經(jīng)存在的屬性組成的鍵，它在業(yè)務(wù)概念中是唯一的，并具有一定的業(yè)務(wù)含義，比如商品ID，員工ID。

以數(shù)倉(cāng)角度看，來(lái)自于業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)符就是自然鍵，比如業(yè)務(wù)庫(kù)中員工的編號(hào)。

9. 持久鍵

保持永久性不會(huì)發(fā)生變化。有時(shí)也被叫做超自然持久鍵。比如身份證號(hào)屬于持久鍵。

自然鍵和持久鍵區(qū)別：舉個(gè)例子就明白了，比如說(shuō)公司員工離職之后又重新入職，他的自然鍵也就是員工編號(hào)發(fā)生了變化，但是他的持久鍵身份證號(hào)是不變的。

10. 代理鍵

就是不具有業(yè)務(wù)含義的鍵。代理鍵有許多其他的稱呼：無(wú)意義鍵、整數(shù)鍵、非自然鍵、人工鍵、合成鍵等。

代理鍵就是簡(jiǎn)單的以按照順序序列生產(chǎn)的整數(shù)表示。產(chǎn)品行的第1行代理鍵為1，則下一行的代理鍵為2，如此進(jìn)行。代理鍵的作用僅僅是連接維度表和事實(shí)表。

11. 退化維度

退化維度，就是那些看起來(lái)像是事實(shí)表的一個(gè)維度關(guān)鍵字，但實(shí)際上并沒(méi)有對(duì)應(yīng)的維度表，就是維度屬性存儲(chǔ)到事實(shí)表中，這種存儲(chǔ)到事實(shí)表中的維度列被稱為退化維度。與其他存儲(chǔ)在維表中的維度一樣，退化維度也可以用來(lái)進(jìn)行事實(shí)表的過(guò)濾查詢、實(shí)現(xiàn)聚合操作等。

那么究竟怎么定義退化維度呢？比如說(shuō)訂單id，這種量級(jí)很大的維度，沒(méi)必要用一張維度表來(lái)進(jìn)行存儲(chǔ)，而我們進(jìn)行數(shù)據(jù)查詢或者數(shù)據(jù)過(guò)濾的時(shí)候又非常需要，所以這種就冗余在事實(shí)表里面，這種就叫退化維度，citycode這種我們也會(huì)冗余在事實(shí)表里面，但是它有對(duì)應(yīng)的維度表，所以它不是退化維度。

12. 緩慢變化維

維度建模的數(shù)據(jù)倉(cāng)庫(kù)中，有一個(gè)概念叫Slowly Changing Dimensions，中文一般翻譯成“緩慢變化維”，經(jīng)常被簡(jiǎn)寫為SCD。緩慢變化維的提出是因?yàn)樵诂F(xiàn)實(shí)世界中，維度的屬性并不是靜態(tài)的，它會(huì)隨著時(shí)間的流逝發(fā)生緩慢的變化。這種隨時(shí)間發(fā)生變化的維度我們一般稱之為緩慢變化維，并且把處理維度表的歷史變化信息的問(wèn)題稱為處理緩慢變化維的問(wèn)題，有時(shí)也簡(jiǎn)稱為處理SCD的問(wèn)題。

處理緩慢變化維的方法通常分為三種方式：

第一種方式是直接覆蓋原值。這樣處理，最容易實(shí)現(xiàn)，但是沒(méi)有保留歷史數(shù)據(jù)，無(wú)法分析歷史變化信息。第一種方式通常簡(jiǎn)稱為“TYPE 1”。

第二種方式是添加維度行。這樣處理，需要代理鍵的支持。實(shí)現(xiàn)方式是當(dāng)有維度屬性發(fā)生變化時(shí)，生成一條新的維度記錄，主鍵是新分配的代理鍵，通過(guò)自然鍵可以和原維度記錄保持關(guān)聯(lián)。第二種方式通常簡(jiǎn)稱為“TYPE 2”。

第三種方式是添加屬性列。這種處理的實(shí)現(xiàn)方式是對(duì)于需要分析歷史信息的屬性添加一列，來(lái)記錄該屬性變化前的值，而本屬性字段使用TYPE 1來(lái)直接覆蓋。這種方式的優(yōu)點(diǎn)是可以同時(shí)分析當(dāng)前及前一次變化的屬性值，缺點(diǎn)是只保留了最后一次變化信息。第三種方式通常簡(jiǎn)稱為“TYPE 3”。

在實(shí)際建模中，我們可以聯(lián)合使用三種方式，也可以對(duì)一個(gè)維度表中的不同屬性使用不同的方式，這些，都需要根據(jù)實(shí)際情況來(lái)決定，但目的都是一樣的，就是能夠支持方便的分析歷史變化情況。

13. 微型維度

維度建模中，有一種維度叫minidimension，中文一般翻譯成“微型維度”。微型維度的提出主要是為了解決快變超大維度。

以客戶維度舉例來(lái)說(shuō)，如果維度表中有數(shù)百萬(wàn)行記錄或者還要多，而且這些記錄中的字段又經(jīng)常變化，這樣的維度表一般稱之為快變超大維度。對(duì)于快變超大維度，設(shè)計(jì)人員一般不會(huì)使用TYPE 2的緩慢變化維處理方法，因?yàn)榇蠹叶疾辉敢庀虮緛?lái)就有幾百萬(wàn)行的維度表中添加更多的行。

這時(shí)，有一項(xiàng)技術(shù)可以解決這個(gè)問(wèn)題。解決的方法是，將分析頻率比較高或者變化頻率比較大的字段提取出來(lái)，建立一個(gè)單獨(dú)的維度表。這個(gè)單獨(dú)的維度表就是微型維度表。

微型維度表有自己的關(guān)鍵字，這個(gè)關(guān)鍵字和原客戶維度表的關(guān)鍵字一起進(jìn)入事實(shí)表。有時(shí)為了分析的方便，可以把微型維度的關(guān)鍵字的最新值作為外關(guān)鍵字進(jìn)入客戶維度表。這時(shí)一定要注意，這個(gè)外關(guān)鍵字必須做TYPE 1型處理。

14. 下鉆

這是在數(shù)據(jù)分析中常見(jiàn)的概念，下鉆可以理解成增加維的層次，從而可以由粗粒度到細(xì)粒度來(lái)觀察數(shù)據(jù)，比如對(duì)產(chǎn)品銷售情況分析時(shí)，可以沿著時(shí)間維從年到月到日更細(xì)粒度的觀察數(shù)據(jù)。從年的維度可以下鉆到月的維度、日的維度等。

15. 上卷

知道了下鉆，上卷就容易理解了，它倆是相逆的操作，所以上卷可以理解為刪掉維的某些層，由細(xì)粒度到粗粒度觀察數(shù)據(jù)的操作或沿著維的層次向上聚合匯總數(shù)據(jù)。

16. 數(shù)據(jù)集市

數(shù)據(jù)集市可以理解為是一種"小型數(shù)據(jù)倉(cāng)庫(kù)"，它只包含單個(gè)主題，且關(guān)注范圍也非全局。數(shù)據(jù)集市可以分為兩種:

一種是獨(dú)立數(shù)據(jù)集市，這類數(shù)據(jù)集市有自己的源數(shù)據(jù)庫(kù)和ETL架構(gòu)；

另一種是非獨(dú)立數(shù)據(jù)集市，這種數(shù)據(jù)集市沒(méi)有自己的源系統(tǒng)，它的數(shù)據(jù)來(lái)自數(shù)據(jù)倉(cāng)庫(kù)。當(dāng)用戶或者應(yīng)用程序不需要/不必要/不允許用到整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)，非獨(dú)立數(shù)據(jù)集市就可以簡(jiǎn)單為用戶提供一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的子集。

二、數(shù)倉(cāng)概念之間關(guān)系 1. 實(shí)體表，事實(shí)表，維度表之間的關(guān)系

在Kimball維度建模中有維度與事實(shí)，在Inmon范式建模中有實(shí)體與關(guān)系，如果我們分開兩種建模方式看這些概念比較容易理解。但是目前也出現(xiàn)了不少混合建模方式，兩種建模方式結(jié)合起來(lái)看，這些概念是不是容易記憶混亂，尤其事實(shí)表和實(shí)體表，它們之間到底有怎樣區(qū)別與聯(lián)系，先看下它們各自概念：

維度表：維度表可以看成是用戶用來(lái)分析一個(gè)事實(shí)的窗口，它里面的數(shù)據(jù)應(yīng)該是對(duì)事實(shí)的各個(gè)方面描述，比如時(shí)間維度表，地域維度表，維度表是事實(shí)表的一個(gè)分析角度。

事實(shí)表：事實(shí)表其實(shí)就是通過(guò)各種維度和一些指標(biāo)值的組合來(lái)確定一個(gè)事實(shí)的，比如通過(guò)時(shí)間維度，地域組織維度，指標(biāo)值可以去確定在某時(shí)某地的一些指標(biāo)值怎么樣的事實(shí)。事實(shí)表的每一條數(shù)據(jù)都是幾條維度表的數(shù)據(jù)和指標(biāo)值交匯而得到的。數(shù)倉(cāng)進(jìn)階：詳解維度建模之事實(shí)表。

實(shí)體表：實(shí)體表就是一個(gè)實(shí)際對(duì)象的表，實(shí)體表放的數(shù)據(jù)一定是一條條客觀存在的事物數(shù)據(jù)，比如說(shuō)各種商品，它就是客觀存在的，所以可以將其設(shè)計(jì)一個(gè)實(shí)體表。實(shí)時(shí)表只描述各個(gè)事物，并不存在具體的事實(shí)，所以也有人稱實(shí)體表是無(wú)事實(shí)的事實(shí)表。

舉個(gè)例子：比如說(shuō)手機(jī)商場(chǎng)中有蘋果手機(jī)，華為手機(jī)等各品牌各型號(hào)的手機(jī)，這些數(shù)據(jù)可以組成一個(gè)手機(jī)實(shí)體表，但是表中沒(méi)有可度量的數(shù)據(jù)。某天蘋果手機(jī)賣了15臺(tái)，華為手機(jī)賣了20臺(tái)，這些手機(jī)銷售數(shù)據(jù)屬于事實(shí)，組成一個(gè)事實(shí)表。這樣就可以使用日期維度表和地域維度表對(duì)這個(gè)事實(shí)表進(jìn)行各種維度分析。數(shù)倉(cāng)用戶行為分析SQL實(shí)現(xiàn)（第三節(jié)）

2. 指標(biāo)與標(biāo)簽的區(qū)別 概念不同

指標(biāo)是用來(lái)定義、評(píng)價(jià)和描述特定事物的一種標(biāo)準(zhǔn)或方式。比如：新增用戶數(shù)、累計(jì)用戶數(shù)、用戶活躍率等是衡量用戶發(fā)展情況的指標(biāo)；

標(biāo)簽是人為設(shè)定的、根據(jù)業(yè)務(wù)場(chǎng)景需求，對(duì)目標(biāo)對(duì)象運(yùn)用一定的算法得到的高度精煉的特征標(biāo)識(shí)。可見(jiàn)標(biāo)簽是經(jīng)過(guò)人為再加工后的結(jié)果，如網(wǎng)紅、白富美、蘿莉。

構(gòu)成不同

指標(biāo)名稱是對(duì)事物質(zhì)與量?jī)煞矫嫣攸c(diǎn)的命名；指標(biāo)取值是指標(biāo)在具體時(shí)間、地域、條件下的數(shù)量表現(xiàn)，如人的體重，指標(biāo)名稱是體重，指標(biāo)的取值就是120斤；

標(biāo)簽名稱通常都是形容詞或形容詞+名詞的結(jié)構(gòu)，標(biāo)簽一般是不可量化的，通常是孤立的，除了基礎(chǔ)類標(biāo)簽，通過(guò)一定算法加工出來(lái)的標(biāo)簽一般都沒(méi)有單位和量綱。如將超過(guò)200斤的稱為大胖子。

分類不同

對(duì)指標(biāo)的分類：

按照指標(biāo)計(jì)算邏輯，可以將指標(biāo)分為原子指標(biāo)、派生指標(biāo)、衍生指標(biāo)三種類型；DPM如何搭建指標(biāo)體系。

按照對(duì)事件描述內(nèi)容的不同，分為過(guò)程性指標(biāo)和結(jié)果性指標(biāo)；

對(duì)標(biāo)簽的分類：

按照標(biāo)簽的變化性分為靜態(tài)標(biāo)簽和動(dòng)態(tài)標(biāo)簽；

按照標(biāo)簽的指代和評(píng)估指標(biāo)的不同，可分為定性標(biāo)簽和定量標(biāo)簽；

指標(biāo)最擅長(zhǎng)的應(yīng)用是監(jiān)測(cè)、分析、評(píng)價(jià)和建模。標(biāo)簽最擅長(zhǎng)的應(yīng)用是標(biāo)注、刻畫、分類和特征提取。特別需要指出的是，由于對(duì)結(jié)果的標(biāo)注也是一種標(biāo)簽，所以在自然語(yǔ)言處理和機(jī)器學(xué)習(xí)相關(guān)的算法應(yīng)用場(chǎng)景下，標(biāo)簽對(duì)于監(jiān)督式學(xué)習(xí)有重要價(jià)值，只是單純的指標(biāo)難以做到的。而指標(biāo)在任務(wù)分配、績(jī)效管理等領(lǐng)域的作用，也是標(biāo)簽無(wú)法做到的。

3. 維度和指標(biāo)區(qū)別與聯(lián)系

維度就是數(shù)據(jù)的觀察角度，即從哪個(gè)角度去分析問(wèn)題，看待問(wèn)題。

指標(biāo)就是從維度的基礎(chǔ)上去衡算這個(gè)結(jié)果的值。

維度一般是一個(gè)離散的值，比如時(shí)間維度上每一個(gè)獨(dú)立的日期或地域，因此統(tǒng)計(jì)時(shí)，可以把維度相同記錄的聚合在一起，應(yīng)用聚合函數(shù)做累加、均值、最大值、最小值等聚合計(jì)算。

指標(biāo)就是被聚合的通計(jì)算，即聚合運(yùn)算的結(jié)果，一般是一個(gè)連續(xù)的值。

4. 自然鍵與代理鍵在數(shù)倉(cāng)的使用區(qū)別

數(shù)倉(cāng)工具箱中說(shuō)維度表的唯一主鍵應(yīng)該是代理鍵而不應(yīng)該是自然鍵。有時(shí)建模人員不愿意放棄使用自然鍵，因?yàn)樗麄兿Ｍc操作型代碼查詢事實(shí)表，而不希望與維度表做連接操作。然而，應(yīng)該避免使用包含業(yè)務(wù)含義的多維鍵，因?yàn)椴还芪覀冏龀鋈魏渭僭O(shè)最終都可能變得無(wú)效，因?yàn)槲覀兛刂撇涣藰I(yè)務(wù)庫(kù)的變動(dòng)。

所以數(shù)據(jù)倉(cāng)庫(kù)中維度表與事實(shí)表的每個(gè)連接應(yīng)該基于無(wú)實(shí)際含義的整數(shù)代理鍵。避免使用自然鍵作為維度表的主鍵。

5. 數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別與聯(lián)系

數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集，它主要面向部門級(jí)業(yè)務(wù)，并且只面向某個(gè)特定的主題。為了解決靈活性與性能之間的矛盾，數(shù)據(jù)集市就是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中增加的一種小型的部門或工作組級(jí)別的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集市存儲(chǔ)為特定用戶預(yù)先計(jì)算好的數(shù)據(jù)，從而滿足用戶對(duì)性能的需求。數(shù)據(jù)集市可以在一定程度上緩解訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。