# 揭秘 ClickHouse：用 C++ 打造的“速度之王”，如何实现每秒亿级数据的实时查询？

icy 昨天 19 抢沙发

默认

摘要： 什么是 ClickHouse？ ClickHouse 是一个开源的列式数据库管理系统（ DBMS），由俄罗斯搜索引擎巨头 Yandex 开发，旨在实现 OLAP（联机分析处理）场景...

什么是 ClickHouse？

ClickHouse 是一个开源的列式数据库管理系统（ DBMS），由俄罗斯搜索引擎巨头 Yandex 开发，旨在实现 OLAP（联机分析处理）场景下的极速查询。它采用 C++ 编写，通过极致的硬件利用率和精巧的算法设计，将查询速度提升到了一个令人惊叹的量级。

在处理海量数据（PB 级）时，ClickHouse 能够将原本需要数小时的查询缩短至几秒钟，这使其成为了实时分析、日志监控、商业智能（BI）等场景的首选方案。

核心技术架构：为什么它这么快？

ClickHouse 的高性能并非来自单一的技巧，而是多种底层技术的综合叠加：

1. 列式存储 (Column-Oriented Storage)

与传统的 MySQL 或 PostgreSQL（行式存储）不同，ClickHouse 将同一列的数据存储在一起。 - 减少 I/O：查询 SELECT sum(price) FROM sales 时，系统只需读取 price 这一列，而无需加载整行数据。 - 极高压缩比：同一列数据类型相同且模式相似，可以使用 LZ4 或 ZSTD 等算法进行高效压缩，极大降低磁盘占用。

2. 向量化执行 (Vectorized Query Execution)

ClickHouse 不会一次处理一条记录，而是将数据分批（Batch）处理。 - SIMD 指令集：利用 CPU 的单指令多数据流（SIMD）指令（如 SSE4.2, AVX2, AVX-512），一次性对一组数据进行加法或比较操作，将 CPU 吞吐量发挥到极致。

3. 稀疏索引与数据分区

它不使用 B+ 树索引，而是采用稀疏索引。 - 通过对数据进行排序（Primary Key），将数据划分为粒度（Granules）。查询时通过索引快速定位到可能包含数据的块，然后顺序读取，极大减少了随机 I/O。

4. 极致的 C++ 实现

ClickHouse 的源码是 C++ 爱好者的宝库。它大量使用了： - 自定义内存分配器：减少内存碎片。 - 无锁队列与多线程并行：充分利用多核 CPU 的所有计算能力。 - JIT 编译：通过 LLVM 将查询表达式动态编译为机器码，消除解释执行的开销。

快速上手实例

为了让大家直观感受 ClickHouse 的威力，我们通过一个简单的“电商用户行为分析”场景来演示。

1. 安装与启动 (Docker 快速版)

text

docker run -d --name clickhouse-server -p 8123:8123 -p 9000:9000 clickhouse/clickhouse-server

2. 创建表 (使用 MergeTree 引擎)

MergeTree 是 ClickHouse 最核心的引擎，支持分区、索引和后台数据合并。

text

CREATE TABLE user_logs (
    event_time DateTime,
    user_id UInt64,
    event_type String,
    page_id String,
    duration UInt32
) 
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_time)
ORDER BY (event_type, event_time);

注：ORDER BY 定义了主键，决定了数据在磁盘上的物理排序方式。

3. 导入海量数据

ClickHouse 支持多种导入方式，最快的是通过 INSERT 批量写入或使用 clickhouse-client 导入 CSV。

text

INSERT INTO user_logs VALUES 
('2023-10-01 10:00:00', 1001, 'click', 'home_page', 5),
('2023-10-01 10:00:05', 1002, 'view', 'product_detail', 30),
('2023-10-01 10:01:00', 1001, 'purchase', 'checkout', 120);
-- 实际生产中通常一次写入 10万+ 行

4. 极速查询分析

假设我们要分析：过去一个月内，每个页面的平均停留时间，且仅统计停留时间 > 10秒的记录。

text

SELECT 
    page_id, 
    avg(duration) AS avg_time, 
    count() AS visit_count
FROM user_logs
WHERE event_time >= subtractMonths(now(), 1) 
  AND duration > 10
GROUP BY page_id
ORDER BY avg_time DESC;

在数亿条数据面前，这个查询通常在 100ms ~ 500ms 内即可返回结果。

ClickHouse 的适用与不适用场景

✅ 适用场景 (Sweet Spots)

实时分析报表：需要秒级响应的 BI 仪表盘。
日志分析 (Log Analytics)：替代 ELK 堆栈，处理海量系统日志、访问日志。
监控指标存储：存储时序数据，进行聚合分析。
广告点击分析：计算 CTR、转化率等大规模指标。

❌ 不适用场景 (Anti-Patterns)

频繁更新/删除：ClickHouse 的 UPDATE 和 DELETE 是异步且昂贵的（Mutation 操作），不适合作为 OLTP 数据库（如替代 MySQL 做订单管理）。
极小数据集：在数据量小于 100 万行时，传统数据库的优势更明显。
强一致性事务：不支持 ACID 事务，不适合处理金融转账等场景。