口頭愛人

2022-11-11

湖倉一體指的是結合了數據倉庫和數據湖的元素而形成的數據解決方案。它實現了數據倉庫的數據結構和數據湖的可管理特性。通常既可以用來做機器學習，也可以用來做BI分析。湖倉一體的特點包括：

（1）統一的數據管理：湖倉一體提供完善的數據管理能力。數據湖中會存在兩類數據：原始數據和處理后的數據。數據湖中的數據會不斷地積累、演化，因此包含以下數據管理能力：數據源、數據連接、數據格式、數據schema（庫/表/列/行）。同時，數據湖是單個企業中統一的數據存放場所，因此，還具有一定的權限管理能力。

（2）多模態的存儲引擎：湖倉一體本身內置多模態的存儲引擎，以滿足不同的應用對于數據訪問需求（綜合考慮響應時間/并發/訪問頻次/成本等因素）。但是，在實際的使用過程中，為了達到可接受的性價比，湖倉一體解決方案提供可插拔式存儲框架，支持的類型有HDFS/S3等, 并且在必要時還可以與外置存儲引擎協同工作，滿足多樣化的應用需求。

（3）豐富的計算引擎：提供從批處理、流式計算、交互式分析到機器學習等各類計算引擎。一般情況下，數據的加載、轉換、處理會使用批處理計算引擎；需要實時計算的部分，會使用流式計算引擎；對于一些探索式的分析場景，可能又需要引入交互式分析引擎。隨著大數據技術與人工智能技術的結合越來越緊密，各類機器學習/深度學習算法也被不斷引入，可以支持從HDFS/S3上讀取樣本數據進行訓練。因此，湖倉一體解決方案提供計算引擎的可擴展/可插拔。

（4）數據全生命周期管理：湖倉一體提供一個企業中全量數據的存儲場所，需要對數據的全生命周期進行管理，包括數據的定義、接入、存儲、處理、分析、應用的全過程。一個強大的數據湖實現，需要能做到對其間的任意一條數據的接入、存儲、處理、消費過程是可追溯的，能夠清楚的重現數據完整的產生過程和流動過程。