2020年年初是一段讓大家足以銘記的日子，它來得悄無聲息，待人們發現后已席卷全國，全國人民舉國抗疫，而在抗疫過程中大數據技術可謂功不可沒，不光可以幫我們追蹤到接觸過病例的人群，還可以依據大數據的優勢，對疫情的發展趨勢進行預判。在精準、全面、快速的大數據的支持下，新冠病毒無處遁行，從而在很短的時間內就控制住了疫情，大數據技術的優勢也淋漓盡致的體現了出來。

今天為大家介紹一款產品，說它是大數據的貼身管家一點都不為過，它的出現讓大家不再為大數據難題犯愁，可支持海量數據的高效儲存和統一管理，為企業決策提供實時的數據支撐。

大數據的貼身管家——PetaBase
說了這么多，億信華辰的自主研發的大數據平臺Petebase就閃亮登場了，它是一個以Ambari為架構，集成了 Hadoop生態圈中的主要組件進行相關功能的優化，在獲取、存儲、管理、分析數據方面大大超出了傳統數據庫軟件，可以實現海量的非結構化/半結構化/結構化數據管理，同時進行離線批處理計算和流式計算處理。滿足高吞吐、大數據量和低時延實時處理等多方面的數據計算要求，具有靈活性、集成性、安全性、擴展性、高可用性、兼容性等特性，可以為企業的數據管理、數據建設、數據分析保駕護航。

另外，Petebase還提供了一致，安全的可視化管理工具，通過一個完整的RESTful API把監控信息暴露出來，可以直觀、輕松有效地查看信息并控制集群集。集群中繼承里Hadoop家族中的絕大多數組件和功能，其中包括：hdfs(hadoop體系中數據存儲管理的基礎)、yarn(統一資源管理)、Zookeeper(分布式、高可用的分布式協調服務)、hive(基于hadoop的數據倉庫)、MapReduce(分布式計算模型)、Flink（流處理）、kudu（列式存儲系統）、impala（即席查詢的SQL引擎）等。

Petebase多樣的應用場景
適用于離線批處理分析的需求，可以實現關系型數據庫中的數據向大數據平臺的遷移，在大數據平臺實現對海量的多系統的數據管理，通過模型對數據加以整合分析，生成符合業務場景需求的數據，可用于金融、租賃、市政的數據建設。
可以基于sqoop做數據遷移實現關系型數據庫到大數據平臺的數據遷移，使數據落地到hdfs存儲系統上。
可以使用hive、impala兩種支持sql語言的方式對數據進行管理與查看。
使用ozzie做調度工具，可以實現對遷移任務，sql語句的調度。
適用于實時數據采集分析的場景，可以實現對實時數據的采集，通過流處理或微批處理，將數據一邊加工一邊入庫，進行工業傳感器、實時上傳文件等需求的處理。
使用flume+kafka的方式，對數據進行采集，Flume 是一個分布式、可靠、高可用的海量日志采集、聚合和傳輸系統，支持在系統中定制各類數據發送方，用于收集數據。Kafka 是一個分布式消息隊列，用于緩存數據。
Flink對kafka的數據進行處理，實現Exactly once的語義保證，以流水作業的形式將采集的數據按行讀取，將數據通過清洗和轉化，實時落地到大數據平臺中的hive或impala中。
億信華辰旗下的Petebase已成功運用于世界500+強企業及政府各大部門中，取得了不錯的實踐和效果，幫助政企有效解決大數據的疑難雜癥，完成數字化轉型。

更多精彩內容歡迎關注公眾號：億信華辰

億信華辰是中國專業的智能數據產品與服務提供商，一直致力于為政企用戶提供從數據采集、存儲、治理、分析到智能應用的智能數據全生命周期管理方案，幫助企業實現數據驅動、數據智能，已積累了8000多家用戶的服務和客戶成功經驗，為客戶提供數據分析平臺、數據治理系統搭建等專業的產品咨詢、實施和技術支持服務。