在20世紀后期，信息管理和存儲的形式主要集中在較為單一的結構化數據上。那個時候，關系型數據庫理論及其管理系統，如：Postgres、oracle、sybase等，它們廣受認可。但在過去幾年，大數據產業的興起，促使人們更多關注的是如何處理海量、多源和異構的數據，并從中獲得價值。

根據行業報告，結構化數據僅占到全部數據量的10%！其余90%都是以文件形式存在的非結構化和半結構化數據，包括各種辦公文檔、圖片、視頻、音頻、設計文檔、日志文件、機器數據等。而在非結構化數據中，日志數據占了近90%。由于這個原因，越來越多的客戶決定將日志分析作為開始采用大數據的最佳的起點。

那究竟如何進行日志數據分析呢？這家MDI制造商的成功經驗值得參考。

項目背景
該制造商一直有意向通過用戶行為日志實現對企業內網各環節的用戶行為進行安全行為審計、業務邏輯告警以及用戶行為分析，并為后續的數據挖掘提供基礎數據集。以前，在發生行為事件時根本無法及時獲悉，需要經歷一定的延遲，這個延遲不是按小時或天來計算，而是動輒持續數周才能了解這一情況。每次排查安全事件都需要耗費大量的時間成本。此外，對于問題的發生也不能及時預警，類似的問題很難快速判斷。

經過技術選型和評估后，這家客戶決定運用Hadoop框架處理日志。從日志中攝取半結構化信息，然后將這些信息匯集成易于使用的數據集，并從交互式分析中總結重要信息。在對比了多家大數據廠商后，他們選擇了億信的PetaBase-s實時大數據平臺。

項目內容
PetaBase-s作為具有創新性的實時大數據分析平臺，能應對數據龐大的規模和復雜性，對數據的容量、速度和多樣性進行管理，幫助企業更加及時、準確地進行數據分析，進行數字化轉型。億信華辰為該客戶設計了一套PetaBase-s日志大數據解決方案（如下圖所示），整個方案分為六層。

第一層是數據源層，主要是需要采集分析的原始非結構化日志文件，比如安全日志，應用服務器日志等。

第二層是接入層，這一層主要是實時采集增量日志文件，方案采用了flume，將攝取的文本消息下沉至Kafka消息隊列中。

第三層是數據存儲層，負責整個平臺的非結構化/結構化數據存儲。其中，非結構化的日志文件存儲在hdfs中進行集中歸檔，結構化數據則存儲在kudu中。

第四層是計算層，這一層使用了spark、impala分布式計算框架對kafka消息流進行解析、實時計算、入庫。

第五層是數據應用層，對入庫的數據經過多維模建模，以面向主題形式提供可分析的全局透視圖，以jdbc/sql的方式為應用支撐層提供訪問接口。

第六層是應用支撐層，以友好的可視化門戶方式向終端用戶提供基于業務需求的數據訪問和管理。支撐層還提供了http、rest等api接口為第三方應用提供數據訪問服務。

方案價值
該方案在投入使用后，實現了三大方面的價值：

（一）日志統一采集和管理
PetaBase-s能夠采集各種類型、格式、存儲路徑的日志文件，將日志實時同步到PetaBase-s平臺，避免過期被刪，同時通過配置就能夠根據正則表達式提取日志字段，實現日志數據格式化，方便數據理解和分析。

（二）文本解析、關鍵字過濾與分析
日志分析過程中，經常需要根據一些特征詞進行快速過濾。PetaBase-s提供包括關鍵字查詢等在內的多種查詢運算函數，且能實現多數據源的關聯查詢，支持用戶實現各種復雜計算需求。

（三）同時支持預警與統計
日志數據實時計算加工后既可以生成統計報表為日常管理和觀察指標所用，也可以與規則庫碰撞，實時預警，規則庫支持用戶自定義的規則導入。通過這套方案，用戶實現了對企業內網各環節的用戶行為進行安全行為審計、業務邏輯告警以及用戶行為分析，有效提高了安全監督效率。

小結：PetaBase-s日志大數據解決方案完全不需要局限于已有的分析系統，建設風險極低，但卻是啟用大數據技術的良好起點。同時，成熟的產品化平臺功能能大幅縮短實施周期和成本，極具吸引力。除此之外，PetaBase-s可在任意環境中運行，無論是本地環境、公有云和私有云，都能為您提供了更大的自由度和靈活性！