對于高影響力數據治理團隊來說，最好的比喻就是一個運轉良好的廚房。他們幫助保持廚房清潔，確保所有刀具都鋒利，所有東西都擺放在正確的位置。這讓廚師工作得更快，錯誤更少，并防止食品衛生評級不佳。

但數據治理團隊正在走一條微妙的路。如果他們不小心，這些舉措可能看起來像是額外的開銷，引入的政策和流程對業務影響不大。

在本文中，我們將探討高影響力數據治理團隊應該關注的領域以及他們可以采取的具體步驟。

雖然對于數據治理團隊的工作方式沒有一刀切的解決方案，但這些關鍵主題仍然是大多數頂級公司的職位要求。

使數據在整個組織內可用

密切關注數據質量，幫助系統地改善最重要的事項

通過所有權模式確保責任明確

管理風險、隱私和法規遵從性

使數據在整個組織內可用

問題很少是數據不足。問題在于現有數據未被使用或人們無法找到它。隨著組織的發展，創建的數據量顯著增加。隨著時間的推移，這會帶來多種后果。

對同一指標的多種定義可能會導致人們對數據失去信任或得出不同的結論。

存在多個儀表板或表格，解決相同的問題并導致重復工作和不太可用的數據堆棧。

儀表板會隨著時間的推移而“腐爛”，而利益相關者卻并未意識到。

數據堆棧爆炸式增長，使得發現變得困難并增加了不必要的數據平臺成本。

這個過程緩慢發生，然后突然發生。

各個團隊為解決這個問題而做出的零星努力很少能奏效。數據治理團隊具有獨特的優勢，可以幫助實現標準化并推動這一進程。

1、記錄關鍵數據資產

數據治理團隊應設定并執行對數據文檔的期望，以免它成為事后的想法。例如：

強制在數據目錄中完成文檔，以在團隊之間創建一致的方法。

設定期望，即應該對所有“黃金”標準表進行記錄，但“青銅”和“白銀”是可選的。

給出有據可查的表格或字段的清晰示例（例如，寫為“由SalesForce標識符定義的客戶的用戶ID”，而不是“客戶的用戶ID”）。

2、確保關鍵指標定義一致

在達到一定規模后，您不可避免地會遇到對同一指標的不同定義。雖然基礎數據可能沒有錯，但這會導致決策速度變慢，并導致開會時花費大量時間討論指標是否正確，而不是討論如何解決。

數據治理團隊應制定明確的指導方針。其中一條指導方針可能是：“關鍵指標應在dbt中定義，而不是在BI工具中的計算字段中定義，以提高可見性并進行版本控制。”另一條指導方針可能是，關鍵指標應包括RAG（紅色、琥珀色、綠色）閾值及其指標定義，以將它們保存在一個地方。這還有一個額外的好處，就是允許您在閾值被突破時向相關利益相關者設置自動警報。

數據治理團隊應查找同一指標的多種定義，并鼓勵團隊在發現多種定義時合并指標。最好的方法是定期評估關鍵儀表板、Slack頻道和其他使用KPI的地方。

3、確保數據可發現

如果您的數據消費者（無論是數據團隊內部還是外部）都找不到他們的數據，那么數據可能就不存在了。如果找到您需要的數據就像大海撈針，那么解決方案的一部分可能是更新您的工具集并引入數據目錄以使所有數據資產都可以被發現。但是，如果您沒有先掌握基礎知識，那么任何工具都無濟于事。

數據治理團隊應執行簡單但標準化的約定。例如，數據資產的明確命名約定，如儀表板的“??產品A/B測試跟蹤[商業銀行]”，以明確儀表板至關重要(??)以及它屬于哪些領域（商業銀行）。

我們建議將其盡可能靠近數據所在位置。如果您使用Looker之類的BI工具，大多數數據消費者都會在這里使用數據。創建一個結構良好的“主頁”，您可以在其中深入了解每個域，并提供指向最重要儀表板的鏈接，這是組織儀表板并確保每個人都能找到它們的好方法。

4、增強儀表板的可用性

無論你喜歡與否，無論你創建的數據模型和管道多么花哨，利益相關者使用儀表板數據的體驗都會嚴重影響他們對數據和團隊產出的看法。你應該像對待產品一樣對待儀表板，強化其外觀、感覺、一致性和性能。

5、刪除不必要的數據資產

數據資產蔓延是數據隨著時間的推移變得無法使用的主要原因之一。清理數據堆棧最有效的舉措是擺脫不需要的數據資產。雖然沒有對不需要的數據資產的明確定義，但你可以留意以下跡象

使用率較低的儀表板

與其他儀表板有很大重疊的儀表板

沒有下游依賴的數據模型

數據模型中未在下游使用的列

清理臃腫的數據堆棧并非易事，如果可能的話，您應該持續投入精力清理未使用的表格、數據模型、列和儀表板。然而，許多正在擴張的公司發現自己處于劣勢，只有在擁有數千個數據模型和儀表板后才會解決這個問題。

6、定義哪些數據重要

隨著規模的擴大，無論數據治理團隊的意圖有多好，都無法在組織內的所有數據上強制實施高可用性。數據治理團隊需要明確定義數據關鍵性及其影響。例如，使用“銅、銀、金”模型，并決定只有銀和金才應符合文檔標準。

7、密切關注數據質量，幫助系統地改善最重要的事項

數據質量一直被列為數據團隊面臨的最大挑戰。dbt最近向數千名數據從業者詢問了他們面臨的最大挑戰，結果顯示，數據質量差以57%的得票率位居榜首。

這是有充分理由的。數據質量差會導致決策錯誤、系統故障，并削弱對數據的信任。

幸運的是，大多數數據從業者已經習慣了將經過充分測試的數據作為開發數據資產的一部分。這對于單個資產來說很有效，但很大程度上取決于個人的解釋。我們建議數據治理團隊系統地對關鍵維度（例如所有者域和關鍵性）的數據質量進行基準測試。

數據質量報告

報告數據質量的原因有很多，但要求每個團隊定義自己的指標肯定會造成混亂。持續測量和傳達數據質量可以帶來多種業務成果：

通過突出問題區域，讓分布式團隊掌握數據質量

在利益相關者多次詢問數據質量是否低下后，他們表現出信心

向監管機構展示你對數據質量的把控

與工程師共享您已承諾遵守SLA的數據產品的系統正常運行時間

正常運行時間——每次運行時，現有控制措施成功通過的百分比是多少

覆蓋率——有多少比例的數據資產已實施所需的控制措施

將質量指標分組到語義相似的領域，可以讓您以更貼近業務用例的方式討論數據質量。(1)及時性–數據是否根據與業務商定的SLA保持最新和最新狀態，(2)正確性–所有數據是否可用，(3)完整性–數據在語義上是否正確，(4)一致性–可用數據是否在各個系統中一致。我們還建議明確定義哪些指標是“差”、“還行”或“好”。在我們的示例中，任何低于50%的分數都被標記為“差”，這意味著需要采取行動。

這種洞察力水平可以讓你開始詢問有關數據質量的問題，例如

雖然我們對空值檢查有很好的覆蓋，但我們應該調查哪些檢查失敗了，是否可以修復，以及是否應該刪除它們。

為什么我們的斷言測試的正常運行時間顯著下降？

鑒于覆蓋率低，我們在唯一性測試上的高正常運行時間是否會給我們一種虛假的安全感？

設定數據質量期望指南

在大多數情況下，您需要根據數據的使用方式指定期望。我們建議您這樣做，因為您可能不想讓所有資產都遵守相同的標準。同樣，由于您可能只強制執行“黃金”資產的文檔記錄，數據治理團隊應該扮演為數據測試的期望制定指導方針的角色。記住哪些數據對業務至關重要、哪些數據被暴露（例如，在儀表板中）以及哪些資產應該有SLA（例如，如果數據沒有按時到達，就會產生下游影響）可以幫助您評估需要哪些檢查，從而衡量哪些是重要的。

8、通過所有權模式確保責任明確

隨著數據堆棧變得越來越復雜，一個人不可能再記住所有事情，而且往往發現問題的人并不是解決問題的合適人選。同時，上游和下游依賴關系的數量激增，這使得找到合適的上游所有者或通知受影響的利益相關者變得非常困難。

你不需要詢問許多數據團隊就能了解夢想狀態：上游生產者擁有并管理其數據質量，相關數據團隊承擔責任，利益相關者發現問題的日子已經結束。

良好的所有權說起來容易做起來難，而且失敗的所有權舉措也屢見不鮮。

數據治理團隊最終負責構建具有明確角色和職責的一致所有權模型。將其分為幾個步驟可以更清楚地表明您的差距：(1)整合元數據，(2)使用相關測試檢測問題，(3)分配所有權，(4)以可采取行動的方式通知相關人員問題。

所有權既是一種文化挑戰，也是一種技術挑戰，要成功實現所有權計劃，需要同時關注兩者。

為所有者設定期望—期望應與數據資產的重要性掛鉤。例如，什么會導致嚴重問題，以及誰來決定。

定義所有權—您可以在很多地方定義所有權，從dbtyml文件到數據目錄、Confluence頁面和電子表格。明確定義所有權的期望，并幫助每個人以相同的方式進行定義。

用正確的背景通知正確的人—我們建議您全面考慮數據所有權—從上游團隊擁有的數據源到最終用戶擁有的儀表板。為簡單起見，我們將建議分為以下幾組：(1)數據團隊、(2)上游團隊和(3)業務利益相關者。

9、管理風險、隱私和法規遵從性

在公司生命周期的某些階段，通常是在引入數據治理團隊時，需要管理重大風險。這可能涉及金融科技的監管數據、即將上市的IPO的財務數據準確性，或者公司需要負責任地處理PII數據的一般意識。

作為數據治理專業人員，您的工作很明確：確保公司履行其義務并最大限度地降低風險，同時不減慢數據團隊的速度。

你可以通過以下幾種方式來實現：

PII相關數據–在大多數公司中，某些數據（例如用戶電子郵件）不應隨時可供所有人查詢。強制將數據標記為PII，并自動為這些數據設置護欄。例如，創建一個包含原始數據的單獨數據倉庫，其中僅按用例授予訪問權限，并在七天后過期。

用戶數據刪除請求–如果您使用用戶數據，您不可避免地會遇到用戶數據刪除請求。您越早考慮這些，在收到第一個請求時刪除所有用戶數據就越容易。在發生這種情況之前擁有正確的工具（例如列級沿襲）將大大減少所需的時間。

定義事件管理流程和SLA–無論您的所有權模型或數據質量檢查有多好，數據問題都會發生。定義明確的事件管理流程具有多種好處：它可以幫助每個人對重要事項達成共識，使對問題知之甚少或一無所知的人更容易參與進來，并且您可以更輕松地回顧過去的事件并報告嚴重違規行為。

10、數據治理專業人員需要掌握的關鍵技能

使數據可用、確保質量、建立所有權以及平衡PII和風險與速度——這對于數據治理團隊來說并非易事！以下是數據治理專業人員取得成功所需的一些基本技能。

技術理解–雖然您可能不會親自為代碼庫做出貢獻或編寫dbt模型，但對數據團隊使用的工具及其局限性有高層次的了解是有益的。這可以幫助您更好地了解其他團隊的痛點以及數據治理流程如何融入現有工作流程的利弊。

平衡優先事項—你可能覺得每件事都很重要。不過，你的工作是密切關注整個公司的情況，從而優先考慮某些計劃。例如，在即將進行的IPO或監管違規事件發生前，將治理計劃完全集中在財務數據上，而較少關注營銷和產品領域可能是明智之舉。

運行供應商選擇流程–您可能需要引入至少幾種工具來幫助您解決上述問題。您應該密切關注數據目錄和數據可觀察性工具等類別中的工具。如果您決定投資某個工具，則需要由您來運行一個結構良好的流程，規劃概念驗證，并確保數據團隊中的每個人都能感受到您的聲音。這可能是您的公司第一次購買此類別的工具，因此，在您承諾之前，獲取多個演示并與現有客戶進行參考檢查可能是測試該工具是否適合您的好方法。

組織認同——沒有人會為了好玩而關心數據質量、文檔或所有權。作為數據治理團隊，您應該向大家傳達文檔、數據質量和所有權為何如此重要的理念。定期與領導團隊分享見解是確保他們參與其中并理解這些投資為何值得的好方法。

小結

數據治理團隊的作用是保持廚房清潔，確保所有刀具鋒利，并確保一切東西都擺放在適當的位置。這不是一件容易的事，它需要平衡優先事項、讓利益相關者參與進來，并運行供應商選擇流程。