導(dǎo)讀：最近，ByteHouse團(tuán)隊和InfoQ聯(lián)合發(fā)布《從ClickHouse到ByteHouse》白皮書，著重探討 ClickHouse 引入企業(yè)級生產(chǎn)環(huán)境過程中存在的問題以及現(xiàn)階段的解法。

ClickHouse 開源于 2016 年，憑借性能方面的突出優(yōu)勢，在分析型數(shù)據(jù)庫領(lǐng)域發(fā)展可謂風(fēng)生水起。目前，國內(nèi)外許多頭部大廠都在深度使用 ClickHouse 技術(shù)。

在性能方面，ClickHouse 在 OLAP 場景下的性能超越同類產(chǎn)品數(shù)倍不止，它允許系統(tǒng)以亞秒級的延遲從 PB 級的原始數(shù)據(jù)生成報告，服務(wù)器吞吐量高達(dá)每秒數(shù)億行。

但是將 ClickHouse 引入企業(yè)級生產(chǎn)環(huán)境中，仍然存在問題。關(guān)于落地實踐的“坑”，并不是業(yè)內(nèi)所有團(tuán)隊都需要自己踩一遍，也不是所有團(tuán)隊都能負(fù)擔(dān)得起這樣的成本，我們要做的是吸取足夠的經(jīng)驗，以及選擇自研、采購等更加實際的解決方案。

在這一點上，字節(jié)跳動無疑是一家非常有代表性的國內(nèi)企業(yè)：字節(jié)跳動從 2017 年開始大規(guī)模啟用 ClickHouse；作為其深度用戶，字節(jié)跳動擁有國內(nèi)規(guī)模最大的 ClickHouse 集群。

目前，字節(jié)跳動內(nèi)部的 ClickHouse 節(jié)點總數(shù)超過 1.8 萬個，管理總數(shù)據(jù)量超過 700PB，最大的單個集群部署規(guī)模約為 2400 余個節(jié)點。

當(dāng)前，字節(jié)跳動已將經(jīng)過五年定制化改造的 ClickHouse，沉淀為 ByteHouse，正式通過對外提供服務(wù)。

從采用并改造開源產(chǎn)品，到上線商業(yè)版本對外服務(wù)，這是一條非常難走的路，同時也讓其中的實踐思考和經(jīng)驗更具參考價值。

最近， ByteHouse 聯(lián)合 InfoQ 發(fā)布白皮書《從ClickHouse到ByteHouse》，深度介紹字節(jié)跳動萬臺節(jié)點ClickHouse背后的技術(shù)實現(xiàn)，本卷白皮書大致分為四個章節(jié)：1. ClickHouse 介紹2. ClickHouse 典型場景3. 針對生產(chǎn)環(huán)境中的 ClickHouse，ByteHouse 的技術(shù)優(yōu)化思考4. ByteHouse 的設(shè)計和演進(jìn)思路其中，《從ClickHouse到ByteHouse》從第三章開始，重點介紹 ByteHouse 的優(yōu)化思路。目前，ByteHouse 對 ClickHouse 做了很多升級和優(yōu)化，本次挑選了 ByteHouse 對 ClickHouse 優(yōu)化升級中非常重要的三個方面詳細(xì)展開：1. 自研表引擎2. 查詢優(yōu)化器3. 彈性可擴(kuò)展在自研表引擎模塊，盡管 ClickHouse 提供 MergeTree Family, Memory, File, Interface 等幾十種不同的表引擎，但在字節(jié)內(nèi)部實際使用中，還是明顯感覺到表引擎不足以滿足業(yè)務(wù)的使用需求，于是我們進(jìn)行了相應(yīng)的優(yōu)化。其中，重點介紹了HaMergeTree、HaUniqueMergeTree、HaKafka三種表引擎。圖1 白皮書配圖摘選：HaMergeTree副本協(xié)同原理在查詢優(yōu)化器模塊，ByteHouse 對 Optimizer 進(jìn)行了一年多的改造投入，全面升級產(chǎn)品能力，白皮書詳細(xì)列舉了 ByteHouse 在查詢優(yōu)化器上的改造與優(yōu)化功能。

為了追求極致性能，ClickHouse 采用的是計算和存儲節(jié)點強耦合的架構(gòu)，不能根據(jù)各自實際需求分開擴(kuò)容，而且在節(jié)點擴(kuò)展后數(shù)據(jù)無法自動重新分布的問題給 ClickHouse 擴(kuò)展帶來很多運維的麻煩。ByteHouse 在改進(jìn)與優(yōu)化 ClickHouse 的過程中，也重點基于該架構(gòu)進(jìn)行了調(diào)整，比如 ByteHouse 在存儲和計算上的拆解解耦，實現(xiàn)彈性可擴(kuò)展的技術(shù)優(yōu)化方案。

圖2 白皮書配圖摘選：計算存儲分離架構(gòu)

除此之外，《從ClickHouse到ByteHouse》還枚舉出廣告、金融、工業(yè)互聯(lián)網(wǎng)三大行業(yè)的實踐案例，這些都屬于 OLAP 的典型應(yīng)用行業(yè)，并從技術(shù)與企業(yè)落地等角度給出了當(dāng)下企業(yè)在 OLAP 數(shù)據(jù)引擎選型的三個核心關(guān)注點。