隨著科技技術(shù)的不斷演進(jìn)，數(shù)字化已成為各行業(yè)內(nèi)一個非常重要且極具吸引力的市場，其目標(biāo)是將IT技術(shù)與產(chǎn)品、系統(tǒng)、解決方案和服務(wù)進(jìn)行融合，貫穿于從研發(fā)設(shè)計到生產(chǎn)到技術(shù)維護的整個產(chǎn)業(yè)鏈。

乘著數(shù)字化這股智慧東風(fēng)一逐漸吹進(jìn)了萬千行業(yè)，礦山就是其中的一個典型領(lǐng)域。從礦山自動化到數(shù)字礦山，再到如今的智慧礦山，數(shù)字經(jīng)濟時代，有關(guān)未來礦山建設(shè)與實現(xiàn)方式不斷被刷新。當(dāng)下，智慧礦山利用底層傳感器實現(xiàn)數(shù)據(jù)采集，物聯(lián)網(wǎng)（IoT）釋放數(shù)據(jù)威力，從生產(chǎn)運營、成本管控、采購銷售等系統(tǒng)，整合所有數(shù)據(jù)通過精準(zhǔn)分析，為煤炭企業(yè)決策層提供精準(zhǔn)、實時的數(shù)據(jù)支撐，實現(xiàn)降低成本、提高決策效率的目標(biāo)。

億信華辰PetaBase實時大數(shù)據(jù)平臺，基于Hadoop架構(gòu)，集成了生態(tài)圈中的主流熱門組件并不斷的進(jìn)行相關(guān)功能的優(yōu)化。可對礦山生產(chǎn)大數(shù)據(jù)、銷售大數(shù)據(jù)、物流大數(shù)據(jù)、設(shè)備運行大數(shù)據(jù)、安全大數(shù)據(jù)、環(huán)保大數(shù)據(jù)等的進(jìn)行智慧采集與存儲，助其最終落地大數(shù)據(jù)分析應(yīng)用。

智能采集應(yīng)對煤礦多數(shù)據(jù)之難
PetaBase可進(jìn)行多源數(shù)據(jù)采集，支持OPC、MQTT等多種傳輸協(xié)議，可實現(xiàn)物聯(lián)網(wǎng)、電子交易等結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一接入。

OPC數(shù)據(jù)或時序數(shù)據(jù)庫
該類數(shù)據(jù)通常為煤礦的設(shè)備數(shù)據(jù)等，記錄了各個測點當(dāng)前的實時值，通過java接口的方式讀取數(shù)據(jù)，存儲到PeteBase的kudu當(dāng)中作為底層存儲，數(shù)據(jù)管理通過impala搜索引擎進(jìn)行。

TXT文件數(shù)據(jù)
該類數(shù)據(jù)通常為安全監(jiān)測、人員定位、水文、微震、束管數(shù)據(jù)、應(yīng)力數(shù)據(jù)等，該類數(shù)據(jù)反映了生產(chǎn)和人員信息的數(shù)據(jù)，會幾秒鐘或幾分鐘生成一個個TXT文件的形式，可以使用Flume收集數(shù)據(jù)，Kafka消息隊列緩存數(shù)據(jù)為不同主題，將不同主題的數(shù)據(jù)通過Streamsets數(shù)據(jù)集成、數(shù)據(jù)加工工具，存儲到PeteBase的kudu當(dāng)中作為底層存儲，數(shù)據(jù)管理通過impala搜索引擎進(jìn)行。

關(guān)系型數(shù)據(jù)庫數(shù)據(jù)
該類數(shù)據(jù)為一些業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)，為財務(wù)、銷售、采購等數(shù)據(jù)，通常保存在業(yè)務(wù)系統(tǒng)自身的數(shù)據(jù)庫當(dāng)中，為了統(tǒng)一分析將數(shù)據(jù)也一并抽取到PeteBase的kudu當(dāng)中。

一體化存儲應(yīng)對量級之大
礦業(yè)對于數(shù)據(jù)的處理要求，集中在設(shè)備數(shù)據(jù)、安全監(jiān)測、人員定位、水文、應(yīng)力、振動等方面。首先，礦山監(jiān)控的數(shù)據(jù)都是大量帶有時間戳的數(shù)值，本身結(jié)構(gòu)簡單，也沒有太多關(guān)聯(lián)性的查詢需求；其次，按設(shè)備、按時間段回溯和統(tǒng)計分析是最主要的應(yīng)用場景。傳統(tǒng)關(guān)系型數(shù)據(jù)庫已無法對此類數(shù)據(jù)進(jìn)行管理，PetaBase旨在數(shù)據(jù)存儲和數(shù)據(jù)分析兩個層面實現(xiàn)對礦山數(shù)據(jù)的統(tǒng)一管控。

PeteBase最少需要3臺服務(wù)器來進(jìn)行集群部署，將多臺服務(wù)器的資源整合為一個稱之為HDFS的分布式文件系統(tǒng)內(nèi)，該系統(tǒng)集成了所管理節(jié)點的所有硬盤資源，但有數(shù)據(jù)寫入時根據(jù)一系列負(fù)載均衡算法，自動將數(shù)據(jù)按規(guī)定拆分分別存儲在各個服務(wù)器上，利用了低廉的服務(wù)器來進(jìn)行海量數(shù)據(jù)的存儲，可以橫向?qū)τ脖P擴容（增加服務(wù)器個數(shù)），而非之前的縱向擴容（增加單個服務(wù)器的存儲空間），當(dāng)存儲量不足時可以通過新增服務(wù)器來滿足數(shù)據(jù)存儲的需求。

PeteBase的計算也是采用了多臺服務(wù)器的內(nèi)存一起參與了計算，大量數(shù)據(jù)的計算速度就會明顯的高于傳統(tǒng)數(shù)據(jù)庫，單臺服務(wù)器的計算速度，其核心的設(shè)計思想為分而治之，單個人做不完的活來進(jìn)行團隊合作完成。將大批量數(shù)據(jù)，分布的放在各個服務(wù)器當(dāng)中，各個服務(wù)器上計算自己所存的數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)行匯總，完成對海量數(shù)據(jù)的運算分析。

對于礦山生產(chǎn)系統(tǒng)而言，安全是第一位的，生產(chǎn)狀況是第二位的，礦端各系統(tǒng)存儲的歷史數(shù)據(jù)的分析，在此就顯都尤為重要，數(shù)據(jù)的價值是無價的，利用這些數(shù)據(jù)的趨勢走向就可以預(yù)判出設(shè)備情況進(jìn)行提前預(yù)警，觀察人員作業(yè)情況方便了解井下實時動態(tài)等，古有秀才不出門全知天下事，現(xiàn)有了PeteBase對數(shù)據(jù)的管理，可以做到人在集團中，隨時一手掌握礦山的方方面面。

PetaBase在獲取、存儲、管理、分析方數(shù)據(jù)面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件，可以實現(xiàn)海量的非結(jié)構(gòu)化/半結(jié)構(gòu)化/結(jié)構(gòu)化數(shù)據(jù)管理，同時進(jìn)行離線批處理計算和流式計算處理。滿足高吞吐、大數(shù)據(jù)量和低時延實時處理等多方面的數(shù)據(jù)計算要求，具有靈活性、集成性、安全性、擴展性、高可用性、兼容性等特性，可為礦山企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)建設(shè)、數(shù)據(jù)分析保駕護航。