如何搞定數(shù)據(jù)標準統(tǒng)一和數(shù)據(jù)質量等難題？

InfoQ：請您結合廣發(fā)銀行信用卡中心的經驗，介紹一下數(shù)據(jù)體系建設的整體歷程大體上會分為哪些關鍵階段？每個階段有哪些需要重點突破的攻堅問題？

徐小磊：首先分享一下我們的數(shù)據(jù)環(huán)境和體系建設的情況。作為一家金融機構，我們既有線上用戶平臺，比如自己的 App、企業(yè)微信等，也有線下的渠道和用戶。在此基礎上，我們積累了大量的金融數(shù)據(jù)，僅信用卡發(fā)卡量就達到了 1.2 億張，每個月線上渠道新增的數(shù)據(jù)量就有幾十個 G。面對這樣的數(shù)據(jù)體量和復雜性，我們的數(shù)據(jù)體系建設分為幾個關鍵階段：

1. 數(shù)據(jù)治理框架和標準：任何體系化的建設都需要一個明確和堅定的目標。缺乏明確的目標，數(shù)據(jù)工作就會迷失方向。我們需要確定哪些數(shù)據(jù)是必要的，以及這些數(shù)據(jù)應該滿足什么樣的標準。例如，用戶畫像可能有幾百上千個指標，但我們可能只關注其中的 100 個，而不是全部。在確定了數(shù)據(jù)治理的框架和標準之后，我們會搭建數(shù)據(jù)架構，由研發(fā)和科技團隊負責，目的是建立一個可擴展、高效且安全的系統(tǒng)，保護客戶的隱私數(shù)據(jù)。

2. 產品選型：我們會選擇合適的數(shù)據(jù)平臺產品，確保海量數(shù)據(jù)的有效可靠存儲，并能夠在上層應用中高效、準確地調用。

3. 數(shù)據(jù)集成和管理：這一步比前面兩步更為重要，因為它是一個持續(xù)化、常態(tài)化的過程，不斷自我迭代和完善。在這個過程中，我們需要解決不同主題域數(shù)據(jù)的結合和映射問題，確保數(shù)據(jù)的一致性和準確性。

4. 數(shù)據(jù)分析和應用：在這個階段，我們面臨如何用數(shù)據(jù)理解業(yè)務，以及如何站在業(yè)務中理解數(shù)據(jù)的挑戰(zhàn)。我們會通過數(shù)據(jù)分析得出業(yè)務結論，并通過模型幫助我們發(fā)現(xiàn)更深層次的洞見。

5. 審計和管控：作為金融企業(yè)，需要定期對數(shù)據(jù)應用和管理進行審計和管控，確保合規(guī)和安全。

6. 數(shù)據(jù)運營：持續(xù)維護數(shù)據(jù)，保證其真實有效，并保持數(shù)據(jù)的活躍性。

InfoQ：企業(yè)數(shù)據(jù)體系建設往往涉及不同業(yè)務環(huán)節(jié)和業(yè)務板塊之間的聯(lián)動，那么，在數(shù)據(jù)治理階段如何實現(xiàn)標準的統(tǒng)一？又如何確保這些標準順利落實？

徐小磊：我們成立了一個金融科技委員會，該委員會負責統(tǒng)籌整個數(shù)據(jù)工作。在委員會內部，有一個重要的部門叫做決策管理部，負責管理整個信用卡中心的數(shù)據(jù)定義和數(shù)據(jù)指標。這個部門的管理范圍包括指標的名稱、業(yè)務分類、類型、業(yè)務口徑、技術口徑、關聯(lián)維度以及迭代更新周期等七個方面。每一個指標的變更都必須經過變更管理流程才能生效，并且這些定義構成了一個公開的數(shù)據(jù)字典，不同權限的人可以根據(jù)自己的工作權限查看相關指標的定義。

關于搭建業(yè)務指標體系的工作展開，通常由業(yè)務同學領導，因為他們了解業(yè)務需求。一旦確定了指標，數(shù)據(jù)同學會協(xié)助確認口徑，比如確定 DAU 的計算方式。然后，技術團隊會將這些定義以代碼形式實現(xiàn)，并由數(shù)據(jù)同學驗證后反饋給業(yè)務同學。

InfoQ：數(shù)據(jù)質量決定著數(shù)據(jù)應用的效果，在廣發(fā)銀行信用卡業(yè)務場景中，哪些因素可能會影響數(shù)據(jù)質量？具體如何規(guī)避？

徐小磊：分享一些常見的數(shù)據(jù)問題和我們的處理經驗。

首先，數(shù)據(jù)來源的多樣性導致格式和標準的不統(tǒng)一，這是數(shù)據(jù)源的問題。我們通常通過數(shù)據(jù)治理和規(guī)范來解決這個問題。

其次，數(shù)據(jù)輸入的錯誤也是一個常見問題。并非所有的數(shù)據(jù)都是系統(tǒng)自動產生的，還有很多線下手工數(shù)據(jù)的錄入。人為錯誤在所難免，我們通過開發(fā)限制性功能，比如在錄入平臺上進行數(shù)據(jù)有效性驗證，來減少這類錯誤。

第三，數(shù)據(jù)的冗余和重復問題。有時候，由于網絡或數(shù)據(jù)源層的問題，同一條數(shù)據(jù)可能被重復采集。我們通過數(shù)據(jù)治理和規(guī)范，在 ETL 過程中定義數(shù)據(jù)的唯一性標準，來處理這種情況。

第四，數(shù)據(jù)不完整的問題。前端元數(shù)據(jù)系統(tǒng)的問題導致數(shù)據(jù)在傳輸和采集過程中丟失。有時候字段為空或者數(shù)據(jù)內容不完整。對此，我們會通過前后平滑等方法進行事后處理，以避免未來出現(xiàn)類似問題。

第五，數(shù)據(jù)的時效性也是一個重要問題，有時數(shù)據(jù)并不是最新的。以銀行為例，我們可能會看到用戶的征信數(shù)據(jù)是半年前的。如果使用半年前的征信數(shù)據(jù)來進行發(fā)放信用卡或分期辦理，可能會出現(xiàn)錯誤，因為用戶的情況在半年內可能已經發(fā)生了變化，而我們并未及時了解到。這個問題是數(shù)據(jù)處理中一個非常重要的缺陷。

過去我們在互聯(lián)網企業(yè)工作時，一直認為數(shù)據(jù)具有高時效性。但實際上在銀行機構，數(shù)據(jù)的時效性可能是 t + 3 到 t + 4，也就是說，我們今天看到的數(shù)據(jù)實際上是前三至四天的數(shù)據(jù)。昨天和前天的數(shù)據(jù)還沒有被聚合、穩(wěn)定或收斂，仍在計算中，因此不能被使用。但很多時候，數(shù)據(jù)應用人員往往習慣性地認為今天看到的指標就是準確的。然而，你可能會在第二天發(fā)現(xiàn)指標又有所變化。

最后，數(shù)據(jù)的安全隱私問題。作為銀行，我們非常重視數(shù)據(jù)的安全和隱私保護。我們歡迎外部數(shù)據(jù)的輸入，但絕不能讓銀行的數(shù)據(jù)外泄。我也很想了解銀行的客戶在全球互聯(lián)網上的表現(xiàn)如何。為此，在 2019 年，我們與一家數(shù)據(jù)公司合作進行了聯(lián)邦建模，數(shù)據(jù)匹配后，該公司直接將他們的標簽打入我們的系統(tǒng)，我們用用戶匹配來完善用戶畫像，并制定后續(xù)的針對性策略。最終發(fā)現(xiàn)，很多數(shù)據(jù)并不準確，因為我們無法驗證其準確性，只能說這些數(shù)據(jù)與外部公司匹配的用戶標簽是對應的。

InfoQ：如果臟數(shù)據(jù)不可避免，那么廣發(fā)銀行信用卡中心在數(shù)據(jù)質量監(jiān)控的思路和手段等方面都用了哪些？

徐小磊：在討論臟數(shù)據(jù)的處理時，首先需要明確什么是臟數(shù)據(jù)以及我們對臟數(shù)據(jù)的可接受程度。臟數(shù)據(jù)通常指的是在數(shù)據(jù)傳輸和分析過程中出現(xiàn)的錯誤或不完整的數(shù)據(jù)。例如，數(shù)據(jù)可能因為各種原因在傳輸過程中丟失或變得不準確。定義臟數(shù)據(jù)并確定一個可接受的比例（如不超過 0.1%）是至關重要的，這需要團隊內部進行充分的討論和達成共識。

在我們的 IT 系統(tǒng)中，臟數(shù)據(jù)的產生并不是由人工操作引起的，而是在數(shù)據(jù)的傳輸和處理過程中自然產生的。盡管現(xiàn)代的信息系統(tǒng)通常具備較強的數(shù)據(jù)規(guī)范性治理，且在數(shù)據(jù)抽取過程中會進行大量的校驗和修復工作，但臟數(shù)據(jù)仍然可能存在。在我們的數(shù)據(jù)治理團隊中，控制臟數(shù)據(jù)的數(shù)量是一個核心的 KPI。如果臟數(shù)據(jù)過多，上游系統(tǒng)將無法有效使用。

通過多年的發(fā)展，我們發(fā)現(xiàn)臟數(shù)據(jù)在數(shù)據(jù)集中的比例已經非常低，通常在 0.1% 左右，這在我們的工作中可以被視為可以忽略不計的。這個比例的臟數(shù)據(jù)并不會影響數(shù)據(jù)分析的結果。可以這樣比喻：如果一個人身高兩米，他站在空曠的地方會非常顯眼；但如果他站在人群中，尤其是 100 萬人的人群中，他的身高就不再那么突出，也不會影響整個人群的平均身高計算。同理，即使存在少量的臟數(shù)據(jù)，只要其比例控制在可接受的范圍內，也不會對整體的數(shù)據(jù)分析造成顯著影響。

InfoQ：在某些行業(yè)中，可能并沒有像金融行業(yè)那樣擁有堅實的信息化基礎和完善的數(shù)據(jù)治理體系。這可能導致這些行業(yè)存在較多質量參差不齊的數(shù)據(jù)，也就是臟數(shù)據(jù)，面對這樣的情況，如何區(qū)分正常的數(shù)據(jù)波動與數(shù)據(jù)異常？

徐小磊：在我們的工作中，經常使用幾種有效的方法來判斷數(shù)據(jù)波動是否正常或異常。

第一種方法是 3:3 規(guī)則，這是一個簡單但并不總是準確的技巧。當數(shù)據(jù)發(fā)生變化時，我們會與環(huán)比、同比和目標進行比較，以判斷波動是否正常。這種方法非常常見，但它的局限性在于它可能無法捕捉到所有的異常情況。

第二種方法是在 Excel 中使用描述性統(tǒng)計和象限圖。通過創(chuàng)建象限圖，我們可以識別出圖中的離群點，也就是異常值。這是一種直觀且易于實施的方法，可以幫助我們快速發(fā)現(xiàn)數(shù)據(jù)中的異常情況。

第三種方法是建立模型，如簡單的線性回歸或更復雜的決策模型。通過模型，我們可以更系統(tǒng)地分析數(shù)據(jù)，并識別出可能的異常模式。

我們最常用的方法是使用象限圖來快速判斷數(shù)據(jù)異常。象限圖可以幫助我們從數(shù)據(jù)角度快速識別異常，重要的是，數(shù)據(jù)上的異常并不一定意味著業(yè)務上的異常。例如，在雙 11 這樣的大促銷日，交易額的異常高是預期內的，業(yè)務團隊實際上希望這個數(shù)字越高越好。因此，我們需要結合業(yè)務背景來理解和評估數(shù)據(jù)異常。

數(shù)據(jù)團隊如何與業(yè)務、技術等部門高效協(xié)作？

InfoQ：業(yè)務和數(shù)據(jù)部門之間的話語體系不同，雙方如何更好地相互理解？

徐小磊：首先是如何用數(shù)據(jù)去理解業(yè)務。我們通常會先進行營銷和運營策略制定。舉個例子，當我們在春節(jié)期間進行活動投放時，可能會看過去類似活動的轉化率，比如說是 5.1%。而今年我們可能希望提高這個轉化率到 6%。在這種情況下，通常會進行 AB 實驗，在不同的方案下給不同的客戶進行投放。然而，這會遇到一個問題：雖然 AB 實驗顯示最優(yōu)方案相較于基線提高了 0.1 個百分點，從 5.1% 提升到了 5.2%，但這 0.1% 對業(yè)務來說并沒有顯著意義，這是數(shù)據(jù)證明顯著而業(yè)務不認可的典型沖突。

另一個例子是，假設我們在做抖音或者快手等短視頻平臺的運營，人均單次使用時長是一個關鍵指標。我們可能通過各種算法和策略將人均單次使用時長從 90 分鐘提升到 100 分鐘。雖然數(shù)據(jù)證明有顯著性的提升，但業(yè)務方并不認可這個提升。這種情況下，10 分鐘的提升對于原有 90 分鐘而言并不顯著，這就是數(shù)據(jù)和業(yè)務之間的差距。需要花費很長時間去理解這個差距，因為數(shù)據(jù)團隊通常更偏向于技術和算法，而業(yè)務則更注重實際效果。

其次，從業(yè)務中去理解數(shù)據(jù)同樣具有挑戰(zhàn)。例如，以某個轉化率為例，任何一個指標背后都對應著商業(yè)模式、運營策略、目標客群和業(yè)務流程。要理解這些背后的內容，才能真正從數(shù)據(jù)中得出建議和方向。舉例來說，轉化率的變化可能有多種原因，如分子上漲、分母下降、分子上漲速度快于分母等。然而，在業(yè)務端，大家可能更關注轉化鏈路中的問題、目標客群的準確性以及商業(yè)模式和策略的有效性等方面。這種理解需要與業(yè)務的深入磨合。

InfoQ：怎么通過組織流程或者說制度上的各種手段，讓不同角色之間的協(xié)作或溝通更加高效和通暢呢？

徐小磊：這確實不是一個技術問題，而是一個組織架構和協(xié)同工作的問題。近年來我們致力于數(shù)字化轉型和數(shù)字化賦能，以此為前提來統(tǒng)一我們的技術團隊、中臺、前臺和渠道，確保各個部門之間的聯(lián)動。

首先，如前面介紹，我們有一個重要的部門叫做決策管理部，負責管理數(shù)據(jù)指標，從原始數(shù)據(jù)處理到指標輸出的整個過程。任何對這個流程的增刪改查都必須通過規(guī)范流程，由這個部門最終評審變更。

其次，我們明確了協(xié)作流程，包括誰負責什么，誰先行動，誰后行動，都通過明確的規(guī)范來限定和標注。舉個例子，現(xiàn)在傳統(tǒng)的分析方法已經不能滿足復雜的業(yè)務需求，我們需要建立模型。在這個過程中，業(yè)務部門的數(shù)據(jù)團隊負責開發(fā)、建設和調優(yōu)模型，而系統(tǒng)或科技部門則負責部署和維護模型，以及后續(xù)的優(yōu)化工作。

其三，我們制定了溝通規(guī)范，以確保溝通的高效性。我們的金融科技委員會定期與各業(yè)務團隊和技術負責人進行溝通，磨合工作，確保數(shù)據(jù)工作的生產和運營過程順暢進行。

此外，我們還會開展多項數(shù)據(jù)類的賦能活動。比如，舉辦數(shù)據(jù)賦能大賽、實施數(shù)據(jù)分析師的人才培養(yǎng)計劃，還有數(shù)據(jù)或 AI 算法的訓練營。通過這些活動，將業(yè)務同事納入其中，建立起業(yè)務與數(shù)據(jù)之間的緊密聯(lián)系。所謂高效聯(lián)動，意味著數(shù)據(jù)需要了解業(yè)務的思路和方式，業(yè)務也需要了解數(shù)據(jù)的策略和方法。因此，我們每年都會在七八月份舉辦信用卡中心的大賽，讓業(yè)務團隊提出他們用數(shù)據(jù)實現(xiàn)的降本增效的項目。評委有業(yè)務專家和數(shù)據(jù)專家，會評審推薦的項目，并從中選出最佳方案，然后公示出來，供大家分享學習。

InfoQ：數(shù)據(jù)團隊往往人數(shù)有限，如何高效地滿足業(yè)務部門大規(guī)模的數(shù)據(jù)使用需求？

徐小磊：在滿足需求的過程中，我們會面對兩種不同類型的需求：指標類需求和日常需求。

1. 指標類需求。對于指標類需求，例如新指標的提出，我們會進行深入討論，了解其背后的目的和業(yè)務邏輯。前輩曾告訴我，“可衡量才可改善”，這意味著我們需要明確如何改善指標，才能發(fā)揮數(shù)據(jù)的價值。

2. 日常需求。在日常需求方面，我們會面臨人力不足的挑戰(zhàn)。為了有效管理需求，我們需要建立標準和流程。首先，我們設立了提需求的標準，包括需求背景、具體內容和期望的輸出。只有按照這些標準提出的需求才會被考慮。然后，我們會與業(yè)務部門進行多次反復的討論和磨合，以確保需求的準確性和合理性。接下來，我們會根據(jù)優(yōu)先級對需求進行排序，并公示給所有相關方，以便大家達成共識。最后，我們會根據(jù)業(yè)務部門自身的標準和需求來確定優(yōu)先級，以確保最緊急的需求得到優(yōu)先處理。

InfoQ：數(shù)據(jù)團隊是整體對接各個條線的業(yè)務部門，還是分組去對接？哪一種組織效率會更高一點？

徐小磊：以我們公司的 APP 數(shù)據(jù)團隊為例，對應不同的工作職能主要包括兩類角色。第一類是 BP 類型的數(shù)據(jù)分析師，他們的匯報對象仍然是數(shù)據(jù)團隊的領導，但工作地點通常與業(yè)務團隊在一起。這種模式使得數(shù)據(jù)分析師能夠更貼近業(yè)務，更好地理解業(yè)務需求，并提供針對性的數(shù)據(jù)分析支持。這種設置有助于加強數(shù)據(jù)團隊與業(yè)務部門之間的溝通和協(xié)作，確保數(shù)據(jù)分析工作能夠緊密圍繞業(yè)務目標展開。

第二類數(shù)據(jù)團隊成員則專注于平臺性建設，他們大概占團隊的 1/3，工作重點是構建和維護數(shù)據(jù)分析平臺，提供工具和方法論支持，確保數(shù)據(jù)團隊能夠高效地進行數(shù)據(jù)處理和分析。他們的工作是基礎性的，對于整個數(shù)據(jù)團隊的運作至關重要，因為提供的平臺和工具直接影響到數(shù)據(jù)分析的質量和效率。

InfoQ：如何避免數(shù)據(jù)分析團隊大多數(shù)時間都是在提數(shù)或者是做報表開發(fā)？

徐小磊：這個現(xiàn)象是無法完全避免的。事實上，這是數(shù)據(jù)分析工作中一個合理且必要的部分。總得有人負責數(shù)據(jù)提取和報表的維護，而且并非所有的需求都能通過現(xiàn)有報表來滿足。

對于數(shù)據(jù)團隊的定位和人員技能的考量是關鍵。如果團隊還很年輕，對業(yè)務的理解不夠深入，那么在初期階段，團隊成員自然會更多地投入到數(shù)據(jù)提取和報表開發(fā)中。特別是在業(yè)務團隊剛開始進行數(shù)字化轉型時，從零開始的階段，數(shù)據(jù)團隊的主要工作必然包括數(shù)據(jù)提取和報表開發(fā)。

隨著數(shù)據(jù)團隊的成熟和發(fā)展，可以采取更加平衡的工作分配。例如，可以保留少數(shù)團隊成員（比如 2～3 個人）來處理臨時性的取數(shù)需求和進行現(xiàn)有報表的維護工作。假設已經開發(fā)了 100 個報表，每個月可能只需要新增幾個個報表，或者對現(xiàn)有報表的字段進行維護。這樣，其他團隊成員就可以釋放出來，去從事更具探索性和價值的工作。

InfoQ：我們決策管理部門的人員由哪些部門的人員構成？分散在各個業(yè)務部門的數(shù)據(jù)人員角色和職責上又是如何劃分的？

徐小磊：決策管理部門實際上是一個獨立的后臺部門，負責管理整個數(shù)據(jù)流程，包括統(tǒng)一管理指標、口徑的定義、數(shù)據(jù)的應用、數(shù)據(jù)平臺、模型、策略等。為什么業(yè)務部門會有數(shù)據(jù)團隊呢？原因在于數(shù)據(jù)本身與人力資源很相似，如果業(yè)務團隊沒有數(shù)據(jù)支持，溝通就會受到限制。因此，數(shù)據(jù)團隊的人員需要與業(yè)務部門密切合作，以培養(yǎng)業(yè)務感知能力。

數(shù)據(jù)團隊的角色有一些劃分和差異，因為業(yè)務需求不同。以我們現(xiàn)在的團隊為例，大致分為三類角色。第一類是數(shù)據(jù)產品經理，負責管理數(shù)據(jù)產品；第二類是數(shù)據(jù)分析人員，包括初級、中級和高級，負責數(shù)據(jù)分析工作；第三類是數(shù)據(jù)智能團隊，負責算法和模型的開發(fā)。每個角色下面還會有一些具體的細分。例如，數(shù)據(jù)產品經理可能會負責線上平臺的埋點管理和標簽體系管理，數(shù)據(jù)分析人員則負責從簡單的數(shù)據(jù)取數(shù)到高級的探索性分析，而數(shù)據(jù)智能團隊則會根據(jù)業(yè)務需求開發(fā)適合的模型和算法。

InfoQ：數(shù)據(jù)團隊在滿足業(yè)務需求后，如何驗證數(shù)據(jù)的有效性？有沒有一些評判的標準或指標？

徐小磊：我們根據(jù)不同的業(yè)務需求類型，采取不同的驗證方法。

首先，對于專項類需求，目標是改善具體的業(yè)務指標。例如，如果業(yè)務部門希望我們通過數(shù)據(jù)分析幫助提升某個指標 5%，我們會以業(yè)務結果為導向，追蹤這個目標的實現(xiàn)情況，從而評估我們工作的價值。

其次，對于日常取數(shù)或申請預算這類需求，我們的價值體現(xiàn)在能否幫助業(yè)務部門順利通過財務審核。如果提供的數(shù)據(jù)分析能夠讓業(yè)務部門成功申請到預算，這就證明了我們工作的有效性。

第三，對于探索性分析這類沒有明確目的的需求，我們會主動與業(yè)務部門溝通，提供數(shù)據(jù)后不僅發(fā)郵件了事，而是會坐到他們身邊，討論數(shù)據(jù)分析的結果，詢問他們的看法，并探討是否需要進一步的工作。這種互動能夠充分體現(xiàn)數(shù)據(jù)團隊的價值。

曾經，為了證明數(shù)據(jù)團隊的價值，我采取了一個非常有趣的做法。我停止了日報、周報和月報的發(fā)布一個星期，想看看會有什么反應。結果，兩天后，很多業(yè)務部門的負責人就開始聯(lián)系我，詢問為什么沒有收到日報。這個小小的實驗讓我意識到，盡管他們可能不總是表達出來，但實際上他們非常依賴我們提供的數(shù)據(jù)報告，并且簡單有效地驗證了我們團隊的重要性和價值。

InfoQ：業(yè)務自己都能看數(shù)據(jù)了，那數(shù)據(jù)分析工作價值體現(xiàn)在哪里？

徐小磊：以我們公司的架構為例，你會發(fā)現(xiàn)數(shù)據(jù)團隊的作用是非常明顯的。隨著組織分工和社會化分工變得越來越細致，業(yè)務人員往往只能看到自己負責的業(yè)務數(shù)據(jù)，難以全面了解其他業(yè)務領域的情況。數(shù)據(jù)團隊就像是一個數(shù)據(jù)中臺，能夠全面貫穿整個組織的數(shù)據(jù)流。

舉個例子，廣發(fā)銀行有一個名為“發(fā)現(xiàn)精彩”的 APP，它是一個集成了多種業(yè)務的平臺，包括分期業(yè)務、商城業(yè)務、飯票業(yè)務等。負責分期和商城的業(yè)務人員只能看到各自業(yè)務的數(shù)據(jù)，比如分期辦理的人數(shù)、商城的交易金額等。但是，作為數(shù)據(jù)團隊，我們能夠看到全局的數(shù)據(jù)。我可以觀察到一個用戶在一個月內不僅辦理了多少筆分期，同時還在商城購買了商品。有了這樣的全業(yè)務視角，我可以向商城的運營管理者提出建議：最近有 10 萬用戶在分期業(yè)務中借出了 1 萬塊錢，是否可以考慮吸引他們到商城購買手機等高價值商品？這樣的建議，如果沒有數(shù)據(jù)團隊的全局視角，是難以提出的。

同樣地，如果我發(fā)現(xiàn)商城中購買某款高價手機的用戶數(shù)量激增，就可以將這一信息反饋給分期業(yè)務部門，探討是否有可能吸引這些已經花費大量資金的用戶來進行分期付款。這種跨業(yè)務和全業(yè)務視角的協(xié)同，正是數(shù)據(jù)團隊的核心價值所在。通過這樣的工作方式，數(shù)據(jù)團隊不僅幫助業(yè)務部門更好地理解用戶行為，還能促進不同業(yè)務間的協(xié)同合作，從而為企業(yè)創(chuàng)造更大的價值。

InfoQ：怎么讓業(yè)務策略的反饋和活動效果，或者推薦效果等數(shù)據(jù)回流到數(shù)據(jù)體系，繼續(xù)驅動下一次的業(yè)務活動？

徐小磊：這個可以分為兩類，一種是自動化的，一種是人工的。

自動化的指的是推薦系統(tǒng)本身就具備回流和閉環(huán)功能。無論是正向反饋還是負向反饋，都會進入到推薦系統(tǒng)中，作為下一次推薦的權重信號起作用。

人工方面是以人工的形式將這一次的效果作為輸入，影響到下一次策略的制定。首先，你的數(shù)據(jù)團隊必須擁有較高的地位和影響力；其次，需要上層領導認識到并執(zhí)行這種數(shù)據(jù)驅動業(yè)務的流程；第三，要求業(yè)務團隊在制定策略時必須先考慮數(shù)據(jù)和客群，這是幾個基本原則。

AIGC 時代的數(shù)據(jù)團隊如何建設和規(guī)劃？

InfoQ：廣發(fā)銀行信用卡中心數(shù)據(jù)權限體系具體是如何劃分的？

徐小磊：主要是根據(jù)不同的產品來劃分的，因為數(shù)據(jù)權限需要與具體的數(shù)據(jù)產品結合。通常，最常見的數(shù)據(jù)權限體系是圍繞著 BI 平臺或自助分析平臺展開的。在我們公司，數(shù)據(jù)權限體系并不復雜，一般是基于部門、職級和角色來確定。但僅僅設立這樣的數(shù)據(jù)權限體系是沒有意義的，因為它無法實現(xiàn)數(shù)字化轉型和數(shù)據(jù)賦能的目標。因此，我們在建設數(shù)據(jù)體系時采取了一套傳統(tǒng)的方法，但也結合了數(shù)據(jù)人才的培養(yǎng)計劃。

舉個例子，我們現(xiàn)在的規(guī)范是這樣的：數(shù)據(jù)全員體系中，每個部門都會有一個數(shù)據(jù)的種子用戶，他們具備最全面的權限，可以管理和維護部門所使用的所有指標和數(shù)據(jù)。然后是一般用戶，基本上就是初級和高級分析師，他們擁有不同層級的權限。通過這樣的劃分，我們能夠更好地管理數(shù)據(jù)權限，確保數(shù)據(jù)的安全和有效使用。

InfoQ：是否可以展開介紹一下“數(shù)據(jù)人才培養(yǎng)計劃”？

徐小磊：數(shù)據(jù)分析師的認證體系和培訓計劃是其中的一部分。首先，我們建立了初級、中級和高級數(shù)據(jù)分析師的認證體系。

初級數(shù)據(jù)分析師認證主要通過線上考試進行，每月一次，考生需通過初級認證后才能報名中級數(shù)據(jù)分析師考試；

中級數(shù)據(jù)分析師認證，則需要通過在線題庫考試，涉及統(tǒng)計學、業(yè)務知識等多個方面，考試需要在電腦前進行；

另外，我們將高級數(shù)據(jù)分析師分為建模分析師和業(yè)務分析師兩個分支。建模分析師負責算法方面的工作，而業(yè)務分析師則專注于業(yè)務方面的工作。高級數(shù)據(jù)分析師的評選過程不僅包括筆試，還包括一次重要的面試環(huán)節(jié)，以篩選出最優(yōu)秀的人才。

通過初級認證后，數(shù)據(jù)分析師可以在我們的自助分析平臺和 BI 平臺上查看數(shù)據(jù)和報表，但若想進行更深入的工作，如自己創(chuàng)建看板或表格，則需通過中級和高級認證。高級認證的通過者將獲得更多權限，可以進行探索性分析、編寫模型，并解決復雜業(yè)務需求。

此外，我們還將極客邦的企業(yè)培訓產品極客時間納入到我們的培訓計劃中，以建立從 T1 到 T5 的數(shù)據(jù)分析師的知識能力體系。我們銀行的數(shù)據(jù)分析師并不完全是專職的數(shù)據(jù)人員，許多參加數(shù)據(jù)分析師考試的人員都是業(yè)務人員。我認為這一點才是最有價值的。

InfoQ：從從業(yè)者的視角來看，一個好的數(shù)據(jù)科學家 / 數(shù)據(jù)分析師需要具備哪些核心能力？如何培養(yǎng)和提升？

徐小磊：作為企業(yè)的數(shù)據(jù)部門領導，我在面試和觀察了數(shù)百名數(shù)據(jù)分析師后，總結出企業(yè)對數(shù)據(jù)分析師的能力要求是分層次、分級別、分類別的。以下是我對不同經驗水平數(shù)據(jù)分析師應具備的能力的概述：

0-3 年經驗的數(shù)據(jù)分析師：對于初入行業(yè)的人，我們最看重的是技術能力，即技術基礎是否牢固。這包括是否熟練掌握常用的數(shù)據(jù)分析工具，如 SQL、Python、Excel 等。熟練掌握意味著能夠快速理解企業(yè)的數(shù)據(jù)結構，并能迅速實現(xiàn)復雜的業(yè)務需求。

3-5 年或 3-7 年經驗的數(shù)據(jù)分析師：在這個級別，技術能力已經相對成熟，我們會開始考察分析師是否真正理解數(shù)據(jù)背后的業(yè)務含義。在面試中，我會詢問他們關于他們工作中的指標（例如 DAU）并期待他們能深入解釋這個指標的含義和背后的業(yè)務邏輯。

5-7 年或 5-10 年經驗的數(shù)據(jù)分析師：到了這個層次，我們會關注分析師對復雜業(yè)務的掌握程度。不同于初級階段的事后分析，高級分析師需要具備預測能力，能夠基于數(shù)據(jù)預測業(yè)務未來的趨勢和風險，幫助企業(yè)做出更有針對性的決策。

10 年以上經驗的數(shù)據(jù)分析師：對于這個級別的分析師，除了技術能力和業(yè)務理解，我們更看重的是他們的思考方式和戰(zhàn)略視角。他們應該能夠超越單純的數(shù)據(jù)分析，從更宏觀的角度審視數(shù)據(jù)，理解數(shù)據(jù)對企業(yè)戰(zhàn)略的影響，并能夠提出有價值的見解和建議。

InfoQ：如何在工作中成長為高級分析師？

徐小磊：成為高級分析師不僅僅是技能上的提升，更需要改變思維和思考方式。初級和中級的數(shù)據(jù)分析師通常關注如何正確地執(zhí)行任務，而高級分析師更注重如何選擇正確的任務。

在轉變中，關鍵是從關注如何把事情做對，轉變?yōu)殛P注為什么要做這件事情。高級分析師更多地思考業(yè)務的發(fā)展方向，為什么要實施某項分析，以及分析的結果如何影響業(yè)務目標。高級分析師不再只是執(zhí)行者，不再需要親自處理數(shù)據(jù)和跑數(shù)。他們的思考更多集中在業(yè)務層面，思考業(yè)務的發(fā)展趨勢、目標和考核指標，并將這些考慮因素融入到分析中。

我已經工作了 17 年。現(xiàn)在，我更加關注的是為什么要做某項分析，而不是如何做分析。這是成為高級分析師時可能會經歷的轉變。因為到了高級數(shù)據(jù)分析師的層級，很多一線執(zhí)行工作不再需要你親自處理。你會更多地思考業(yè)務的發(fā)展方向，比如今年業(yè)務的狀況是怎樣的，明年需要達到什么水平，為什么要做這么多工作，以及為什么要考核特定的指標。重點是將這些指標與業(yè)務目標相結合，而不僅僅是關注如何去完成任務。

InfoQ：在 AIGC 時代，數(shù)據(jù)團隊如何進行規(guī)劃？

徐小磊：在 AIGC 或大模型的時代，數(shù)據(jù)團隊的規(guī)劃將會有所不同，主要體現(xiàn)在提升工作效率、價值和深度上。AIGC 被視為一種高效的工具，能夠幫助數(shù)據(jù)團隊更好地完成工作。

過去，數(shù)據(jù)團隊的產出很大程度上依賴于對業(yè)務的深入理解和多年的經驗積累。這種基于經驗的分析有其優(yōu)點，比如能夠迅速與業(yè)務需求同步，但同時也存在局限，尤其是容易導致團隊陷入業(yè)務的慣性思維。數(shù)據(jù)分析師可能會過于自信地認為事情“應該”是這樣，而實際上這種判斷往往是錯誤的。AIGC 能夠幫助我們彌補知識上的不完整和思維上的慣性，這是其第一個優(yōu)勢。

第二個優(yōu)勢是提效。無論個人對工具和數(shù)據(jù)環(huán)境有多熟悉，數(shù)據(jù)處理和分析始終是一個耗時的過程。人的大腦處理信息的速度有限，而 AIGC 可以幫助我們快速完成任務，我們只需要驗證和挑戰(zhàn) AIGC 的過程和結果即可。例如，在短文本分類這樣的任務中，AIGC 可以輔助我們處理信息量不足的文本，提高分類的準確性和效率。

在 AIGC 時代，數(shù)據(jù)團隊的規(guī)劃可能在結構上沒有太大的不同，但在工作效率和分析深度上將會有顯著的提升。這意味著數(shù)據(jù)團隊可以更加高效地利用 AIGC 這樣的先進技術，推動數(shù)據(jù)分析工作向更深層次發(fā)展。

未來的數(shù)據(jù)體系長什么樣？

InfoQ：過去 10 年大數(shù)據(jù)的地位一直很高，但除了真正的商業(yè)智能和推薦系統(tǒng)外，有沒有看到更多有價值的體系？

徐小磊：首先，我想用一個比喻來說明，20 年前我們常說每個人都是產品經理，但現(xiàn)在是否還是這樣呢？答案是否定的。其次，如果你感覺不到數(shù)據(jù)的存在，那么它很可能已經完全融入到你的生活中了。你會發(fā)現(xiàn)，當一個東西不再引人注目、沒有聲音的時候，它反而成為你工作和生活中不可或缺、潛移默化的一部分。這個事情看起來似乎很突出，但實際上它并沒有真正融入到你的體系中去。

舉個例子，當我加入廣發(fā)銀行時，我的團隊只有一個人，我是第二個。我每天都在努力提升存在感，通過發(fā)送日報和周報來展現(xiàn)我的工作。為什么會有這種情況呢？因為當時我的數(shù)據(jù)工作是獨立于業(yè)務工作的，是一種平行的工作模式。而現(xiàn)在，幾乎所有的業(yè)務都需要通過數(shù)據(jù)來支持，數(shù)據(jù)和業(yè)務已經成為同一條線上的一個流程。越是缺少數(shù)據(jù)，反而越能夠體會到數(shù)據(jù)在工作中的重要性。

InfoQ：展望未來，廣發(fā)銀行信用卡中心在數(shù)據(jù)體系建設、數(shù)據(jù)資產化應用實踐方面有哪些進一步的計劃？您個人今年的工作重點又是什么？

徐小磊：首先，我給我的團隊定了一個方向，就是與 AIGC 充分融合。我們計劃將大模型融入到我們的工作中，但這是具有挑戰(zhàn)性的。最大的挑戰(zhàn)之一是大模型的私有化部署。由于我們是銀行，不能讓大模型部署到銀行內部，同時還能夠訪問外部數(shù)據(jù)，因為這會帶來數(shù)據(jù)泄露的風險。在私有化部署時，我們可能會遇到許多問題，例如智能降級以及不可用的情況。但我們將與系統(tǒng)團隊一起努力克服這些挑戰(zhàn)。

其次，當 AIGC 融入我的數(shù)據(jù)團隊時，我首先要消除數(shù)據(jù)團隊的恐慌。他們可能會擔心被 AIGC 取代，我需要改變他們的觀點，并充分利用 AIGC 的優(yōu)勢。

第三，我們將在業(yè)務層面實現(xiàn)一些突破。存量用戶基于現(xiàn)有的分析方法很難找到創(chuàng)新點和突破點，但我堅信任何事情都值得用數(shù)據(jù)重新分析一遍。在重新分析之前，我們需要保持空杯心態(tài)，詢問過去的做法是否仍然適用，如果不適用，我們需要尋找新的方向、新的策略和新的方法。這是我們作為決策部門和業(yè)務大腦的責任，需要向業(yè)務和領導提供答案。

來源 | InfoQ數(shù)字化經緯（ID：infoqdigital）