很多大數(shù)據(jù)開(kāi)發(fā)工程師或系統(tǒng)管理員，特別是初級(jí)入門(mén)Hadoop的工程師，經(jīng)常會(huì)遇到如何高效管理大數(shù)據(jù)基礎(chǔ)平臺(tái)的問(wèn)題。跟蹤管理所有Hadoop集群中數(shù)以百計(jì)的節(jié)點(diǎn)、數(shù)據(jù)庫(kù)、資源和服務(wù)實(shí)例可太難了……

為破解這一問(wèn)題，億信華辰實(shí)時(shí)大數(shù)據(jù)平臺(tái)PetaBase-i 提供可視化管理工具PetaBase Web Console（簡(jiǎn)稱PB Web Console），用于供應(yīng)、管理、監(jiān)控和保護(hù)PetaBase集群，降低傳統(tǒng)數(shù)據(jù)庫(kù)管理人員向大數(shù)據(jù)系統(tǒng)轉(zhuǎn)移帶來(lái)的學(xué)習(xí)和管理成本。

什么是PB Web Console

PB Web Console是一個(gè)基于開(kāi)源項(xiàng)目基礎(chǔ)上開(kāi)發(fā)的可視化管理平臺(tái)，其作為實(shí)時(shí)大數(shù)據(jù)平臺(tái)PetaBase-i 的一部分，允許企業(yè)規(guī)劃，安裝和安全配置PetaBase-i，無(wú)論群集的規(guī)模如何，都可以更輕松地提供持續(xù)的群集維護(hù)和管理。

PB Web Console通過(guò)可視化界面提供一致、安全的平臺(tái)，使PetaBase-i 管理變得更簡(jiǎn)單。PB Web Console提供了直觀的Web UI以及強(qiáng)大的REST API，這對(duì)于自動(dòng)化群集操作特別有用。PB Web Console具有以下優(yōu)點(diǎn)：

• 簡(jiǎn)化安裝、配置和管理。輕松高效地創(chuàng)建，管理和監(jiān)控集群規(guī)模，使用智能配置和群集建議來(lái)消除配置中的可疑參數(shù)。
• 集中式安全設(shè)置。降低在整個(gè)平臺(tái)上管理和配置集群安全性的復(fù)雜性。提供自動(dòng)化高級(jí)集群安全功能（如Kerberos和Apache Ranger）的設(shè)置和配置。
• 對(duì)群集健康的可視化監(jiān)控。確保PetaBase群集健康可用，并采用全面的監(jiān)控方法。配置預(yù)定義警報(bào)，捕獲和可視化關(guān)鍵操作指標(biāo)。
• 高度可擴(kuò)展性和可定制性。支持將Hadoop生態(tài)的第三方組件無(wú)縫安裝到企業(yè)環(huán)境中。PB Web Console為管理自定義服務(wù)提供了高度的可擴(kuò)展性。

有了PB Web Console，能做什么

今天，向你先介紹幾個(gè)比較突出的功能。

1、集群主機(jī)管理與監(jiān)控：你可以向PB Web Console管理的集群中添加主機(jī)、刪除主機(jī)以及查看主機(jī)狀態(tài)等。

你也可以單獨(dú)對(duì)某個(gè)主機(jī)節(jié)點(diǎn)上的組件進(jìn)行管理，比如啟動(dòng)、停止、重啟、維護(hù)。還可以實(shí)時(shí)監(jiān)控該主機(jī)的資源負(fù)載和告警處理。

2、集群服務(wù)的控制與監(jiān)控：PB Web Console還提供了對(duì)集群服務(wù)監(jiān)控的能力，你可以看到右邊頁(yè)面關(guān)于服務(wù)的整體信息摘要，包括服務(wù)的狀態(tài)概要信息，同時(shí)也能看到一些簡(jiǎn)單的指標(biāo)，比如內(nèi)存垃圾回收次數(shù)，連接負(fù)載等。不僅如此，還可以通過(guò)“服務(wù)操作”功能，實(shí)現(xiàn)對(duì)服務(wù)的各種操作，如啟動(dòng)，停止，重啟，遷移和刪除等等。

3、集群服務(wù)配置：PB Web Console也提供對(duì)服務(wù)進(jìn)行配置維護(hù)功能，避免了低效和繁瑣的手工修改配置。

PB Web Console除了提供集群的安裝，管理和監(jiān)控功能之外，還附帶了一些十分有用的輔助應(yīng)用工具，用于提升PetaBase平臺(tái)使用的易用性。

4、HDFS文件管理：默認(rèn)情況下，HDFS只能通過(guò)Shell命令進(jìn)程日常的維護(hù)操作，這種操作方式并不直觀。PB Web Console提供了可視化的方式查看和管理HDFS上的目錄和文件，如新建目錄、上傳文件等。

5、SQL開(kāi)發(fā)與程序調(diào)試IDE：PB Web Console提供了一個(gè)可快速開(kāi)發(fā)和調(diào)試Hadoop應(yīng)用程序和訪問(wèn)Hadoop數(shù)據(jù)的一個(gè)基于瀏覽器的圖形化用戶接口。你可以通過(guò)它執(zhí)行hive sql并進(jìn)行數(shù)據(jù)結(jié)果展示，它也支持基于Impala的應(yīng)用進(jìn)行交互式查詢，還支持spark程序開(kāi)發(fā)、HBase數(shù)據(jù)瀏覽和操縱?？偠灾?，你可以在這個(gè)IDE中編寫(xiě)mr，查看修改hdfs的文件，管理hive的元數(shù)據(jù)，運(yùn)行Sqoop，編寫(xiě)Oozie工作流等大量工作。

PB Web Console的價(jià)值

億信華辰實(shí)時(shí)大數(shù)據(jù)平臺(tái)PetaBase-i 的定位就是面向企業(yè)用戶，為方便企業(yè)數(shù)據(jù)中心的管理簡(jiǎn)單和直觀，正是有了PB Web Console這個(gè)可視化管理工具，能為你帶來(lái)如下好處：

• 人員成本：減少了大數(shù)據(jù)平臺(tái)的維護(hù)人員；
• 時(shí)間成本：一鍵智能安裝，比開(kāi)源Apache版本大幅減少了安裝部署時(shí)間, 可視化運(yùn)維，有效縮短維護(hù)時(shí)間；
• 提高資源使用，解決了大數(shù)據(jù)技術(shù)棧中各組件間的兼容性，提供性能報(bào)告和診斷工具，有利于集群性能監(jiān)控和調(diào)優(yōu)，提供對(duì)集群配置統(tǒng)一處理修改。

此外，PB Web Console宕機(jī)也不會(huì)影響到其他組件的任務(wù)運(yùn)行，所有的集群配置等元信息都存放于內(nèi)置的高可用sql數(shù)據(jù)庫(kù)中。

綜上所述，PB Web Console是一款專(zhuān)為PetaBase-i 服務(wù)的安裝部署與管理利器，這款利器具有集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警等功能，使得安裝集群從幾天的時(shí)間縮短在幾小時(shí)以內(nèi)，運(yùn)維人員從數(shù)十人降低到幾人以內(nèi)，極大的提高集群管理的效率。