今年，億信華辰數(shù)據(jù)存儲(chǔ)產(chǎn)品升級(jí)啦。與早期的分布式數(shù)據(jù)庫(kù)產(chǎn)品相比，PetaBase-s全面升級(jí)為實(shí)時(shí)大數(shù)據(jù)平臺(tái)。

很長(zhǎng)一段時(shí)間，我們一直在致力于解決兩個(gè)問(wèn)題：
1）數(shù)據(jù)量不斷快速增長(zhǎng)，獲取、處理和存儲(chǔ)要求的時(shí)間越來(lái)越長(zhǎng)；
2）用戶(hù)對(duì)即時(shí)查詢(xún)（hoc query）響應(yīng)的要求越來(lái)越高。

好在有開(kāi)源社區(qū)的幫助，我們的產(chǎn)品也在不斷增強(qiáng)。眾多用戶(hù)與我們的工程師一起鍛造出了PetaBase-s實(shí)時(shí)大數(shù)據(jù)平臺(tái)，通過(guò)連接PetaBase-s統(tǒng)一對(duì)外訪(fǎng)問(wèn)服務(wù)，它就可以解決星形模型、企業(yè)數(shù)據(jù)倉(cāng)庫(kù)以及集成的先進(jìn)分析混合模型分析等應(yīng)用場(chǎng)景。從傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)用例到敏捷快速的實(shí)時(shí)數(shù)據(jù)智能平臺(tái)，PetaBase-s都很適合。

無(wú)論你需要處理的數(shù)據(jù)結(jié)構(gòu)是哪種：地理空間信息、文本、自然語(yǔ)言或是結(jié)構(gòu)化的、非結(jié)構(gòu)化的圖像分析，PetaBase-s都能處理。如果你希望體驗(yàn)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能？PetaBase-s也能全包。

到底PetaBase-s有多厲害，下面就是 PetaBase-s 實(shí)時(shí)大數(shù)據(jù)平臺(tái)的主要新功能一覽：

產(chǎn)品架構(gòu)圖

全新架構(gòu)擁抱大數(shù)據(jù)生態(tài)
PetaBase-s實(shí)時(shí)大數(shù)據(jù)平臺(tái)采用了全新的企業(yè)級(jí)平臺(tái)框架，以開(kāi)源的Ambari作為平臺(tái)統(tǒng)一管理工具，集成了諸多主流開(kāi)源組件，數(shù)量將近二十個(gè)，如：YARN（統(tǒng)一資源管理），HBase(列存NoSQL數(shù)據(jù)庫(kù))，Spark（快速通用的、基于內(nèi)存的、分布式的計(jì)算引擎），Impala（聯(lián)機(jī)查詢(xún)引擎），Hive（數(shù)倉(cāng)工具），Hdfs（分布式文件系統(tǒng)），Kudu（支持單條記錄級(jí)別的增刪改查的存儲(chǔ)系統(tǒng)），Kafka(分布式發(fā)布訂閱消息系統(tǒng))，F(xiàn)lume（分布式的海量日志采集系統(tǒng)），Sqoop（關(guān)系型數(shù)據(jù)庫(kù)與hdoop之間的數(shù)據(jù)ETL工具）等。

PetaBase-s用戶(hù)因此享有了更多的大數(shù)據(jù)應(yīng)用功能，不僅可以搜索、分析和查詢(xún)半結(jié)構(gòu)化的文件，存儲(chǔ)也得以?xún)?yōu)化，同時(shí)結(jié)構(gòu)化數(shù)據(jù)的處理效率也大大提升，可以更快速地進(jìn)行查詢(xún)。

平臺(tái)性能顯著提升
在實(shí)際項(xiàng)目中，數(shù)據(jù)倉(cāng)庫(kù)和分析型系統(tǒng)的工作負(fù)載需要合并大量的大型查詢(xún)和短查詢(xún)和一些跑批量的離線(xiàn)計(jì)算以及分析系統(tǒng)。因此，PetaBase-s一直致力于優(yōu)化復(fù)雜場(chǎng)景下的混合負(fù)載性能。新版本中，這些工作負(fù)載的性能不同程度的提高了數(shù)倍至數(shù)十倍。在同樣的工作負(fù)載和硬件環(huán)境中，你能明顯獲得處理速度提升所帶給你的振奮和喜悅。

更加簡(jiǎn)單的人機(jī)交互
PetaBase-s實(shí)時(shí)大數(shù)據(jù)平臺(tái)提供了統(tǒng)一的可視化操作管理界面，從系統(tǒng)部署、集群安裝、監(jiān)控、故障等，都可以通過(guò)可視化的操作完成。文件的存儲(chǔ)訪(fǎng)問(wèn)，平臺(tái)提供更易用的集成開(kāi)發(fā)工具，實(shí)現(xiàn)從數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、分析端到端的一站式管理。數(shù)據(jù)的訪(fǎng)問(wèn)開(kāi)發(fā)，平臺(tái)支持以拖拉拽的方式進(jìn)行操作，提升用戶(hù)效率。

為管理員提供更好的操控力
PetaBase-s實(shí)時(shí)大數(shù)據(jù)平臺(tái)中包含有最新的Ambari集群管理控制工具，并在此基礎(chǔ)上進(jìn)行了一系列的改造和增強(qiáng)，以圖形化監(jiān)控系統(tǒng)PetaBase-s Command Center(PBCC)對(duì)外提供管理訪(fǎng)問(wèn)服務(wù)。大數(shù)據(jù)平臺(tái)管理員和數(shù)據(jù)架構(gòu)師們可以利用它來(lái)監(jiān)測(cè)數(shù)據(jù)庫(kù)系統(tǒng)，監(jiān)督工作負(fù)載、系統(tǒng)的利用、鎖定、查詢(xún)進(jìn)展以及歷史分析。

機(jī)器深度學(xué)習(xí)與流式處理的新突破
Spark MLlib是PetaBase-s實(shí)時(shí)大數(shù)據(jù)平臺(tái)的一個(gè)組成部分，它是Spark提供的可擴(kuò)展的機(jī)器學(xué)習(xí)庫(kù)。MLlib已經(jīng)集成了大量機(jī)器學(xué)習(xí)的算法，能幫助PetaBase-s的用戶(hù)簡(jiǎn)化機(jī)器學(xué)習(xí)的工程實(shí)踐工作，并方便擴(kuò)展到更大規(guī)模。

PetaBase-s內(nèi)置的Flume+Kafka特別適合高可靠，高性能的混合格式數(shù)據(jù)加載，相較于傳統(tǒng)ETL模式有明顯優(yōu)勢(shì)。PetaBase-s Streaming Processer能夠在流式消息中實(shí)時(shí)、持續(xù)地更新數(shù)據(jù)集。這一方法已經(jīng)在工業(yè)物聯(lián)和金融交易用例中成功應(yīng)用。Kafka持續(xù)將數(shù)據(jù)輸入Spark Streaming的APP中，支持在實(shí)時(shí)分析場(chǎng)景下，對(duì)數(shù)據(jù)進(jìn)行低延時(shí)的處理。

結(jié)語(yǔ)：項(xiàng)目上的經(jīng)驗(yàn)告訴我們，PetaBase-s在處理規(guī)模在TB至PB之間的數(shù)據(jù)時(shí)，效果是最出色的。企業(yè)使用PetaBase-s運(yùn)行大量的挖掘分析和混合工作負(fù)載查詢(xún)，PetaBase-s展現(xiàn)出了易擴(kuò)展、高可用、靈活敏捷和高性能諸多驚人能力。未來(lái)，PetaBase-s致力于幫助企業(yè)更加高效地分析數(shù)據(jù)，提升企業(yè)的運(yùn)營(yíng)效率，加速企業(yè)的商業(yè)決策。還有其他一些新特性也非常有用，如果你感興趣，請(qǐng)趕緊聯(lián)系我們吧！