在數(shù)據(jù)測(cè)試中，需要?jiǎng)澐趾脺y(cè)試邊界，數(shù)據(jù)質(zhì)量保障除了要關(guān)注數(shù)據(jù)層的測(cè)試（指標(biāo)/模型/數(shù)倉(cāng)表），更不可忽視的是數(shù)倉(cāng)是整條業(yè)務(wù)鏈路中的一環(huán)，對(duì)接全域業(yè)務(wù)提供的查詢能力及造數(shù)能力亦是需要重點(diǎn)關(guān)注的地方。數(shù)據(jù)產(chǎn)品的數(shù)據(jù)來源是嚴(yán)選的業(yè)務(wù)鏈路，產(chǎn)出的數(shù)據(jù)也是要反哺業(yè)務(wù)鏈路，最終實(shí)現(xiàn)推動(dòng)業(yè)務(wù)發(fā)展。以下從數(shù)據(jù)測(cè)試能力分層、數(shù)倉(cāng)造數(shù)能力展開嚴(yán)選數(shù)據(jù)質(zhì)量保障建設(shè)之路的介紹。

1 前言?

嚴(yán)選的數(shù)據(jù)產(chǎn)品，是依托于嚴(yán)選電商業(yè)務(wù)鏈路，通過離線和實(shí)時(shí)兩種數(shù)據(jù)處理方式提供分析型數(shù)據(jù)，并最終希望實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展。先來看下嚴(yán)選的數(shù)據(jù)產(chǎn)品的架構(gòu)層級(jí)圖：從層級(jí)圖可以看出，數(shù)據(jù)產(chǎn)品應(yīng)用是最上層的數(shù)據(jù)表現(xiàn)層。從數(shù)據(jù)產(chǎn)品層級(jí)圖，我們可以對(duì)比下，數(shù)據(jù)產(chǎn)品測(cè)試跟應(yīng)用測(cè)試的流程區(qū)別到底在哪兒： 非數(shù)據(jù)產(chǎn)品的測(cè)試流程一般是： 數(shù)據(jù)產(chǎn)品的測(cè)試流程則為： 從以上鏈路可以看出，數(shù)據(jù)產(chǎn)品的測(cè)試鏈路更長(zhǎng)，復(fù)雜度也多了一塊數(shù)據(jù)鏈路的測(cè)試。

2 數(shù)據(jù)產(chǎn)品測(cè)試的現(xiàn)狀及痛點(diǎn) 根據(jù)目前現(xiàn)狀，嚴(yán)選數(shù)據(jù)產(chǎn)品測(cè)試存在的一些明顯的痛點(diǎn)： 數(shù)據(jù)質(zhì)量保障的測(cè)試不管從業(yè)務(wù)需求和產(chǎn)品定位上都應(yīng)該是優(yōu)先級(jí)更高的測(cè)試線路，要對(duì)數(shù)據(jù)質(zhì)量本身提供更高的關(guān)注度。 數(shù)據(jù)指標(biāo)正確性的人工核對(duì)的方式也讓QA很難更好的把控整體的數(shù)據(jù)質(zhì)量，自動(dòng)化的回歸能力也不具備。 因?yàn)閿?shù)據(jù)敏感性的問題，數(shù)據(jù)產(chǎn)品相關(guān)的測(cè)試工作（如：接口測(cè)試）只能通過本地部署的一些測(cè)試框架來支持，一直沒有平臺(tái)化。 嚴(yán)選數(shù)倉(cāng)一直沒有測(cè)試環(huán)境，目前所有數(shù)據(jù)產(chǎn)品項(xiàng)目的測(cè)試環(huán)境都是使用的生產(chǎn)數(shù)據(jù)，業(yè)務(wù)線測(cè)試環(huán)境中涉及的模型數(shù)據(jù)不能展示及查詢。?

3 脫敏服務(wù)原理及使用?

3.1 脫敏原理 從業(yè)務(wù)使用角度，我們希望脫敏服務(wù)能提供怎樣的能力： 采用SDK+獨(dú)立脫敏服務(wù)架構(gòu)，具備多種靈活自定義脫敏方式； 支持黑白名單配置的定制化脫敏需求； 即插即用的輕量級(jí)開發(fā)。 基于以上幾個(gè)方面的原則，我們經(jīng)過一段時(shí)間的調(diào)研，最終敲定了脫敏服務(wù)的架構(gòu)：未接入脫敏服務(wù)：正常的業(yè)務(wù)流程是后端服務(wù)通過dqs從數(shù)倉(cāng)模型中查詢數(shù)據(jù)，經(jīng)過一定的聚合處理，返回給前端展示。接入脫敏服務(wù)：應(yīng)用后端先通過dqs從數(shù)倉(cāng)中查詢數(shù)據(jù)，此時(shí)應(yīng)用中嵌入的sdk會(huì)通過openid或者ntess解析中拿到的uid和請(qǐng)求的url返回給脫敏服務(wù)，脫敏服務(wù)，根據(jù)是否uid在脫敏白名單中，來決定是不是繼續(xù)走脫敏服務(wù)。當(dāng)命中uid白名單，服務(wù)會(huì)繼續(xù)判斷要對(duì)應(yīng)用中的哪些返回（接口粒度）做脫敏，做何種具體規(guī)則的脫敏。也可以對(duì)接口中的字段粒度做是否脫敏的黑名單配置，靈活度很高。從配置文件詳細(xì)解讀脫敏服務(wù)流程： 識(shí)別要脫敏的賬號(hào)（白名單） 支持接口粒度的脫敏配置，支持正則（白名單） 識(shí)別需要脫敏的數(shù)據(jù)類型（int percent double long） 識(shí)別脫敏字段黑名單（黑名單） 脫敏字段的脫敏規(guī)則設(shè)定?

3.2 適用場(chǎng)景及脫敏效果 數(shù)據(jù)脫敏服務(wù)采用SDK+獨(dú)立脫敏服務(wù)架構(gòu)，具備多種靈活自定義脫敏方式。目前已在伏羲&VIPAPP落地，且同時(shí)具有對(duì)PC端和app端脫敏的能力。數(shù)據(jù)敏感產(chǎn)品線已具備測(cè)試分層能力，并可支持前端開發(fā)使用外包人員。亦可支持，其他同類型的數(shù)據(jù)產(chǎn)品項(xiàng)目接入，可以靈活拔插。

3.3 在實(shí)際業(yè)務(wù)線上面的數(shù)據(jù)脫敏效果 伏羲頁(yè)面數(shù)據(jù)指標(biāo)趨勢(shì)圖脫敏前后對(duì)比：脫敏前：脫敏后：

4 脫敏服務(wù)演進(jìn)之?dāng)?shù)倉(cāng)造數(shù)服務(wù) 脫敏服務(wù)，它是脫敏，但是我們希望它不僅僅是脫敏。它本質(zhì)上是Mock能力的一部分，但是它從線上引流生產(chǎn)數(shù)據(jù)來做Mock的思想是可以指導(dǎo)我們?cè)跍y(cè)試環(huán)境的造數(shù)能力上再上一個(gè)臺(tái)階。數(shù)據(jù)脫敏服務(wù)的持續(xù)演進(jìn)，正式解決了上述問題，當(dāng)前在嚴(yán)選已經(jīng)提供了一站式生產(chǎn)數(shù)據(jù)引流下行及脫敏能力，結(jié)合數(shù)據(jù)工廠，MOCK中心對(duì)于各業(yè)務(wù)線數(shù)據(jù)相關(guān)場(chǎng)景提供了更豐富和貼近線上的造數(shù)能力。

4.1 什么樣的問題催生了數(shù)倉(cāng)造數(shù)服務(wù)的誕生 嚴(yán)選數(shù)倉(cāng)沒有對(duì)接全業(yè)務(wù)域的測(cè)試環(huán)境，測(cè)試環(huán)境的數(shù)據(jù)請(qǐng)求數(shù)倉(cāng)的線上環(huán)境，由于測(cè)試環(huán)境和生產(chǎn)數(shù)據(jù)不一致的原因，無法從數(shù)倉(cāng)查詢到數(shù)據(jù)返回，阻塞了進(jìn)一步的測(cè)試環(huán)境的造數(shù)和測(cè)試流程。目前業(yè)務(wù)域獲取數(shù)倉(cāng)數(shù)據(jù)的返回，一般有三種方式： 屏蔽掉數(shù)倉(cāng)的接口，開發(fā)額外實(shí)現(xiàn)mock開關(guān)以及mock相關(guān)代碼，打開mock開關(guān)，在Apollo中配置相關(guān)測(cè)試數(shù)據(jù)進(jìn)行測(cè)試，但是這種方式需要額外開發(fā)并會(huì)將部分測(cè)試代碼帶到線上。 使用測(cè)試環(huán)境和線上環(huán)境均存在的數(shù)據(jù)，比如skuid，記錄下來后續(xù)持續(xù)使用。但是會(huì)有測(cè)試覆蓋度的問題，且部分場(chǎng)景需要數(shù)據(jù)側(cè)及算法側(cè)的特殊配置。 通過數(shù)據(jù)開發(fā)同學(xué)配合,在數(shù)倉(cāng)倉(cāng)頡(數(shù)倉(cāng)模型管理系統(tǒng))建個(gè)測(cè)試模型，手工新建模型字段，按照數(shù)據(jù)格式造數(shù)據(jù)，然后去猛犸新建同步任務(wù)，將hive表同步到mysql，然后通過統(tǒng)一查詢服務(wù)(dqs)來查詢數(shù)據(jù)。 所以，我們希望按照脫敏服務(wù)線上引流然后修改數(shù)據(jù)的思路，針對(duì)當(dāng)前業(yè)務(wù)某些鏈路上對(duì)數(shù)倉(cāng)查詢的功能，確保測(cè)試環(huán)境請(qǐng)求數(shù)倉(cāng)統(tǒng)一查詢服務(wù)（dqs）的每次查詢都有對(duì)應(yīng)的報(bào)文信息返回。同時(shí)，數(shù)倉(cāng)查詢落地到具體的業(yè)務(wù)鏈路，帶有業(yè)務(wù)特色之后，亦能支持特殊業(yè)務(wù)規(guī)則下數(shù)倉(cāng)數(shù)據(jù)的查詢場(chǎng)景的造數(shù)及編排能力。

4.2 數(shù)倉(cāng)造數(shù)服務(wù) 統(tǒng)一查詢服務(wù)（dqs）是整個(gè)數(shù)倉(cāng)為全域業(yè)務(wù)提供數(shù)倉(cāng)數(shù)據(jù)查詢的唯一出口。統(tǒng)一查詢服務(wù)提供http形式的查詢，可使用封裝的SDK包來調(diào)用；把離線、實(shí)時(shí)等不同數(shù)據(jù)源的集市數(shù)據(jù)抽象為模型維度和指標(biāo)，對(duì)各業(yè)務(wù)提供統(tǒng)一的數(shù)據(jù)查詢服務(wù)。基本原理圖如下：業(yè)務(wù)域通過dqs查詢數(shù)倉(cāng)數(shù)據(jù)的場(chǎng)景分為三大類： 全量查詢類，沒有具體查詢字段。 特定模型字段值的查詢（比如從模型dm_yx_sku_extend_info中查詢skuId=10008650的數(shù)據(jù)），此時(shí)需要測(cè)試環(huán)境和線上環(huán)境數(shù)據(jù)一致從數(shù)倉(cāng)獲取數(shù)據(jù)（測(cè)試環(huán)境數(shù)據(jù)請(qǐng)求數(shù)倉(cāng)線上環(huán)境）。 聯(lián)動(dòng)依賴查詢下的場(chǎng)景，測(cè)試環(huán)境從數(shù)倉(cāng)查詢后，需要通過查詢結(jié)果繼續(xù)反查測(cè)試環(huán)境數(shù)據(jù)進(jìn)行后續(xù)操作。 基于這些查詢場(chǎng)景，我們對(duì)數(shù)倉(cāng)造數(shù)服務(wù)需要提供的能力也就清楚了。第一，希望先解決測(cè)試環(huán)境請(qǐng)求線上，沒有數(shù)據(jù)返回的問題；第二，通過修改返回的數(shù)據(jù)讓線上環(huán)境查詢數(shù)據(jù)跟測(cè)試環(huán)境對(duì)應(yīng)起來；第三，支持有關(guān)聯(lián)關(guān)系的多模型查詢數(shù)據(jù)的編排能力。

4.2.1 數(shù)倉(cāng)造數(shù)服務(wù)原理 原理圖：方案思路：簡(jiǎn)述：輸入基礎(chǔ)信息-->發(fā)送查詢模型請(qǐng)求-->脫敏線上模型數(shù)據(jù)--> Mock數(shù)據(jù)修改--> 生成規(guī)則鏈接替換dqs請(qǐng)求地址-->數(shù)據(jù)在測(cè)試環(huán)境回顯① 業(yè)務(wù)方在嚴(yán)選數(shù)據(jù)工廠--數(shù)倉(cāng)規(guī)則入口，輸入需要查詢的模型標(biāo)識(shí)、字段，數(shù)據(jù)條數(shù)。② 首先根據(jù)輸入的模型，select all查詢到模型對(duì)應(yīng)的全部的數(shù)據(jù)（如非首次查詢，數(shù)倉(cāng)造數(shù)服務(wù)首先緩存上次查詢及修改結(jié)果，直接返回，不走后續(xù)查詢鏈路）。③ 拉取線上模型數(shù)據(jù)后，進(jìn)行數(shù)據(jù)脫敏后返回查詢的模型數(shù)據(jù)和報(bào)文信息。④返回的模型數(shù)據(jù)及報(bào)文展示在數(shù)據(jù)工廠的數(shù)倉(cāng)規(guī)則中，均支持根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景修改為測(cè)試環(huán)境的測(cè)試數(shù)據(jù)。⑤數(shù)據(jù)修改完成，將生成的規(guī)則鏈接在接入業(yè)務(wù)系統(tǒng)中apolloy中替換DQS的請(qǐng)求地址。⑥業(yè)務(wù)系統(tǒng)中對(duì)應(yīng)該查詢模型的功能模塊，會(huì)展示mock規(guī)則中保存的數(shù)據(jù)。

4.2.2 適用場(chǎng)景 單模型查詢，數(shù)據(jù)返回

①規(guī)則內(nèi)單模型

②規(guī)則內(nèi)多個(gè)模型配置（模型間無關(guān)聯(lián)關(guān)系）

① 規(guī)則內(nèi)查詢的多個(gè)模型間有字段的關(guān)聯(lián)關(guān)系

（以下截圖中，字段關(guān)聯(lián)關(guān)系不反應(yīng)實(shí)際業(yè)務(wù)場(chǎng)景；僅表示支持多模型關(guān)聯(lián)查詢）

4.2.3 實(shí)際落地場(chǎng)景舉例 以嚴(yán)選采購(gòu)系統(tǒng)舉例，看下實(shí)際測(cè)試環(huán)境的mock數(shù)據(jù)回顯情況：首先看下數(shù)倉(cāng)模型規(guī)則的配置情況（截圖數(shù)據(jù)均被脫敏）：規(guī)則中查詢的數(shù)據(jù)（所有查詢的字段均可在規(guī)則中修改，來支持測(cè)試環(huán)境的不同場(chǎng)景的造數(shù)要求），在采購(gòu)系統(tǒng)測(cè)試環(huán)境的回顯情況看下圖（數(shù)據(jù)已脫敏）：

4.2.4 帶來的收益?

目前數(shù)倉(cāng)造數(shù)服務(wù)完成跟嚴(yán)選主站和供應(yīng)鏈的部分應(yīng)用聯(lián)調(diào)的接入，部分業(yè)務(wù)已經(jīng)在線上穩(wěn)定使用中。 人工造數(shù)時(shí)間節(jié)省目前秒級(jí)可以完成從數(shù)倉(cāng)拉取任何模型任意數(shù)量的數(shù)據(jù)。也支持批量數(shù)據(jù)導(dǎo)入導(dǎo)出進(jìn)行測(cè)試環(huán)境造數(shù)。按照之前在數(shù)倉(cāng)構(gòu)造測(cè)試模型-造數(shù)據(jù)-建同步任務(wù)的流程步驟，保守估計(jì)人力花費(fèi)至少在一小時(shí)（不考慮部分模型的字段可能超過200+的情況），提效超過1000倍。 測(cè)試環(huán)境成本搭建節(jié)省目前數(shù)倉(cāng)生產(chǎn)環(huán)境機(jī)器為330臺(tái)，每臺(tái)折舊3萬左右，為990萬。測(cè)試環(huán)境按照線上環(huán)境1/10比例縮減，每年機(jī)器上節(jié)約將近100萬，同時(shí)也節(jié)省了其他人力維護(hù)的成本。?

5 總結(jié)?

之前應(yīng)用測(cè)試的經(jīng)驗(yàn)讓我深刻感受到越是復(fù)雜的業(yè)務(wù)系統(tǒng)、模塊越多，每個(gè)模塊耦合關(guān)系，整個(gè)流程的造數(shù)，QA無疑是最清楚整個(gè)流程鏈路的人，在整個(gè)項(xiàng)目中的角色就更不可或缺。同樣在數(shù)據(jù)測(cè)試中，仍然需要?jiǎng)澐趾脺y(cè)試邊界，數(shù)據(jù)測(cè)試除了要關(guān)注數(shù)據(jù)層的測(cè)試（指標(biāo)/模型/數(shù)倉(cāng)表），更不可忽視的是數(shù)倉(cāng)是整條業(yè)務(wù)鏈路中的一環(huán)，對(duì)接全域業(yè)務(wù)提供的查詢能力及造數(shù)能力亦是需要重點(diǎn)關(guān)注的地方。數(shù)據(jù)產(chǎn)品的數(shù)據(jù)來源是嚴(yán)選的業(yè)務(wù)鏈路，產(chǎn)出的數(shù)據(jù)也是要反哺業(yè)務(wù)鏈路，最終實(shí)現(xiàn)推動(dòng)業(yè)務(wù)發(fā)展。