1大數據時代面臨的挑戰

5G的大潮為互聯網帶來更多的發展機遇。隨著資費下降，帶寬的增加，語音視頻等流量的增長以及物聯網技術的飛速發展，互聯網的數據更加多元化。更多數據通過各種新型終端被生產出來，特別是物聯網終端自動生產的數據，通過網絡匯集到數據中心，人類正在進入一個信息大爆炸的時代。

隨著各地大數據中心的建立，越來越多海量、多源、異構的數據被采集和匯聚，如何盡可能地把分散的數據進行融合共享，并且充分挖掘其中的應用價值，已成為當下大數據治理需要面臨的重大挑戰。

與此同時，隱私保護、數據安全也成為政府和個人日益重視的問題，在享受數據為我們帶來便利的同時，安全、可信、合規地使用數據資源也是我們必須要面對的重要課題。

銳安最新一代Ayena大數據智能化解決方案的架構，是通過采集感知體系（Percept）來獲取數據并接入到Ayena大數據平臺。通過基于零信任思想的安全保障體系（ZeroTrust）來解決數據的安全問題，以數據為重心、以身份為邊界、以行為定規則，構建縱深防御體系。這兩個方面就構成了大數據平臺的“采”和“管”。同時，在體系的中間，是對大數據進行處理的云平臺架構，其由IPDS四層組成，IaaS、PaaS主要依托于銳安的生態伙伴的能力來提供，中間的DaaS主要解決數據的“治理”問題，也就是Ayena大數據平臺。

圖一：Ayena智能化大數據解決方案架構

Ayena取自佛教第八識阿賴耶識的諧音，是將眼、耳、鼻、舌、身、意、意根跟前七識所感知的數據提煉保存，代表無所不包的知識。銳安Ayena大數據平臺經過多年的發展之后，現在已經形成完備的產品體系，包含了智能數據集成（AyenaStream）、智能組織存儲（AyenaLake）、智能分析挖掘（AyenaRefine）、精細化數據治理（AyenaWeir）四大子產品。其中，AyenaStream是數據的智能集成，它將采集的數據，通過數據流的方式進行標準化處理，把數據加工成信息。整個過程就像涓涓細流匯入湖海，將各個渠道來源的數據匯聚到數據湖AyenaLake當中，它是基于一種智能數據組織、存儲以及服務的數據中臺架構。數據在湖中不能是孤立和靜止的，所以需要通過AyenaRefine進行充分的智能分析、挖掘，之后數據湖當中的湖水就更加清澈，更好地服務不同使用場景。而整個的數據處理和分析挖掘的過程并不是雜亂無章的，需要通過精細化的“水利工程”即AyenaWeir對湖水進行疏導，對它的全過程進行控制，對它的數據處理的質量和運行的狀態進行監控，Weir的意思是堤堰而非水壩，它的目的不是要堵住數據的水流，而且要更好地疏導湖水的流向。

在Ayena之上是SaaS層，Ayena對萬事萬物進行了全面的刻畫和了解，形成豐富的知識，SaaS層以此解決實際工作中遇到的各種問題，這種運用知識解決問題的能力就是智慧，我們稱之為般若，也就是Prajna。在這一層通過搜索、檔案、關系分析、時空分析、行為分析等一系列應用服務構成基于數據感知和數據治理的智能應用體系。

所以說，銳安科技聚焦的主要產品體系所解決的問題，就是覆蓋了大數據的“采”、“治”、“用”、“管”四個方面，始終致力于“讓信息更有價值”。而周邊包括生態的感知和云計算產品可為整個體系提供助力，共同致力于打造行業內最優的智能化大數據解決方案。

Ayena最核心的設計思想就是讓數據治理體系像人類一樣去學習和思考。人類對世界的認識過程，是將采集感知的數據在大腦中加工成信息，再通過歸納和演繹的方法，在大腦中循環往復的學習，把信息變成知識，利用知識進行推理決策，最終成為智慧。

Ayena大數據體系，將原始庫、資源庫、主題庫、知識庫按照數據總量逐層降低、價值密度逐層提高的方式進行組織，通過分類分級的方式對數據進行縱向切片，構造出多維度立體化的大數據資源金字塔。

通過將不同來源、類型、結構的海量數據接入、提取、清洗，使數據全面融合；

通過全生命周期的數據處理，運用系統中已有的一般性知識，以演繹的方法使信息螺旋生長，轉化為個別性知識，構造行業知識圖譜；

通過分類、聚類等數據挖掘手段，以歸納的方法學習、獲取一般性知識，再將這些知識運用到數據處理中，彼此循環遞進，實現數據治理體系的自我進化；

最后，利用知識提供智慧化的應用，并通過對應用反饋的學習，進一步提升大數據治理體系的智能化水平。

在整個過程中，治理體系是由Percept產品和Ayena體系來支撐的，其中的數據處理引擎就是AyenaStream，數據挖掘引擎就是AyenaRefine，形成大數據資源的多維金字塔就是AyenaLake，而智能應用體系是由Prajna產品來支撐的。整個從數據到信息，從信息到知識，從知識到智慧的過程是由AyenaWeir產品來引導和監督的。

以上是銳安科技大數據感知與數據治理以及生態合作的基本理念。下面再詳細介紹下銳安科技在這方面的具體實踐思路。

1）大數據的“采”——數據采集感知（Percept）

目前，大數據面臨的問題往往是對數據的識別和有效分析的手段比較單一，而且依賴的是以往的知識，依賴于用規則來對數據進行分析，傳統的方法是對業務端口與DPI的流量分析和業務識別，這些方法很容易受制于對知識認識的滯后性，從而會導致很多新的應用無法被識別。同時，對特征庫要進行長期的人工維護和更新，不但費時費力，而且對一些新的知識也無法快速去學習。銳安科技最新一代的數據采集產品（Percept），面對的是快速增長的未知網絡流量，基于機器學習、神經網絡以及其它高級分析技術，通過兼顧網絡的流量、連接及對象進行識別，構造出網絡行為特征、模型庫（基于模型來對網絡信息當中所存在的數據的特征來進行識別），這樣就能在數據當中發現有效的信息，并且通過人工智能、多媒體處理及自然語言處理的方法去解析一些非結構化的數據特征，通過這些方法從未知領域發現更多過去無法分析出來的數據。另外，從端口、業務、模型的級別去識別出不同的協議類型，將不同的協議數據分流到不同的應用當中去使用，使得不同的應用可以獲取到最需要的信息和知識，有效解決了大數據所要解決的數據采集有效性問題。

2）大數據的“治”——數據融合治理（Ayena）

銳安科技的數據治理全過程包含數據接入、處理、組織、分析挖掘、知識圖譜構建以及數據服務等環節。

數據的接入主要包括定義數據全生命周期的治理策略和實現對多源異構數據的統一接入；

數據處理環節是應用平臺知識庫里面的知識，對于一些結構化的數據以及文本、語音、圖像、視頻等多媒體數據進行標準化處理，為數據的分析和挖掘做好準備；

數據組織根據數據應用的需求和定義好的策略，實現數據資源分級分類的構建，形成不同用途的數據資源庫；

數據挖掘是利用模型、對象化、標簽化等手段，對數據進行離線的智能化分析，實現對數據的深度挖掘，使數據價值密度提升。在精細化的數據治理過程當中，銳安科技通過對數據資產全面的把握和數據治理全流程的控制以及數據運維的安全保障，使得數據可以穩定、高效地進行處理和挖掘。

3）大數據的“用”——數據智能應用（Prajna）

數據的智能應用重點體現為應用者所提供的應用服務。銳安科技在構建完整的大數據體系之后，把數據進行充分的整合，可以將數據進行充分的融合和治理，形成有效的知識。而這些知識如何去使用，Prajna則提供了一系列的工具，比如通過使用眾創共享去實現智能進化，充分發揮大數據平臺體系的能力，幫助開發者快速的構建應用。整個體系是由眾創環境和共享環境來構成的，其中由模型工廠和應用工廠組成眾創環境，應用開發者可以使用平臺體系提供的一系列CBB（Common Building Block）組件以及通用的算法和模型，快速搭建出業務所需要的模型和應用；同時通過平臺體系的共享環境，將應用通過應用超市實現共享，使得不同的用戶可以更快地使用到平臺上的應用。另外，平臺利用用戶評價來促進應用的不斷改進和提升，通過學習用戶的反饋和使用體驗，不斷讓應用進化，讓應用更加易用、有用以及好用。

4）大數據的“管”——數據安全訪問（ZeroTrust）

目前，國家已經出臺了《數據安全法》，將數據安全提升到一個更高的層面。而銳安大數據安全體系的構建正是為了保護融合與治理之后的大數據安全。銳安大數據安全體系的設計，主要體現為服務化和縱深防御。服務化是將安全類技術資源，包括傳統安全的硬件、軟件進行集中的管理，構建出安全防護和零信任兩大體系，并通過服務管理把它變成可以被安全管理員使用的資源。安全管理員根據自己的需要，結合等保的要求提高如終端安全、邊界安全、網絡安全、應用安全等等各種實體安全的能力，以此形成對整個大數據安全的縱深防御，使得數據泄露和濫用現象不再發生。

值得一提的是，銳安科技新一代的大數據安全體系基于零信任的理念，構建了身份認證、權限管理、業務審計、業務審批、環境感知、安全策略控制六大安全服務，按照數據敏感程度，對數據進行分類分級，綜合考慮了用戶、終端、應用、環境等因素，對主體進行了數據訪問的授權，確保了大數據處理全程的可知、可管、可查、可控，并形成數據安全、身份可信、行為合規的統一大數據安全縱深防御體系。

在數據安全防御方面，特別采用了對數據進行分門別類的劃分，包含數據分級、分類、資源敏感度分類等。支持對于原始庫、標準庫、主題庫、知識庫等數據庫的分類分級管理。數據分級主要是從數據敏感程度上進行劃分；數據分類是在數據集、數據字段以及數據字段關系上進行差異化的控制，將數據面向不同的用戶和任務開放使用權限。

以上，就是銳安Ayena大數據體系在構建過程中的理念和實踐思路。目前，銳安科技還在持續擴大其大數據治理領域的生態合作，希望在市場、產品、研發等方面與生態伙伴實現“攜手共贏——Run better with you”的目標。