ClickHouse + Fluent Bit 使用手册(Ubuntu 22.04 / Amazon Linux 2023)
1. 支持范围
- Ubuntu 22.04
- Amazon Linux 2023(AWS)
安装脚本:install_clickhouse_linux.sh(自动识别上述系统)。
2. 安装 ClickHouse
cd /path/to/waf-platform/deploy/clickhouse
chmod +x install_clickhouse_linux.sh
sudo ./install_clickhouse_linux.sh
可选:安装时初始化 default 用户密码:
sudo CLICKHOUSE_DEFAULT_PASSWORD='YourStrongPassword' ./install_clickhouse_linux.sh
3. 开启 HTTPS(默认仅 crt+key)
脚本默认生成 server.crt + server.key(带 SAN)并启用 8443:
cd /path/to/waf-platform/deploy/clickhouse
chmod +x configure_clickhouse_https.sh
sudo CH_HTTPS_PORT=8443 \
CH_CERT_CN=clickhouse.example.com \
CH_CERT_DNS=clickhouse.example.com \
CH_CERT_IP=<CLICKHOUSE_IP> \
./configure_clickhouse_https.sh
使用已有证书:
sudo SRC_CERT=/path/to/server.crt \
SRC_KEY=/path/to/server.key \
CH_HTTPS_PORT=8443 \
./configure_clickhouse_https.sh
4. 初始化日志表(含优化)
cd /path/to/waf-platform/deploy/clickhouse
chmod +x init_waf_logs_tables.sh
sudo CH_HOST=127.0.0.1 \
CH_PORT=9000 \
CH_USER=default \
CH_PASSWORD='YourStrongPassword' \
CH_DATABASE=default \
./init_waf_logs_tables.sh
说明:
init_waf_logs_tables.sql已内置主要优化(CODEC、LowCardinality、跳数索引)。optimize_schema.sql主要用于历史表补齐优化,不是首次建表必需步骤。
5. 平台侧配置(EdgeAdmin)
在 ClickHouse 设置页配置:
- Host:ClickHouse 地址
- Port:
8443 - Database:
default - Scheme:
https
当前实现说明:
- 前端不再提供
TLS跳过校验和TLS Server Name配置项。 - 后端固定
TLSSkipVerify=true(默认不校验证书)。
保存后点击“测试连接”。
6. Fluent Bit 配置方式
推荐平台托管模式(在线安装/升级 Node、DNS 时自动下发):
/etc/fluent-bit/fluent-bit.conf/etc/fluent-bit/.edge-managed.env/etc/fluent-bit/.edge-managed.json
检查状态:
sudo systemctl status fluent-bit --no-pager
sudo cat /etc/fluent-bit/.edge-managed.json
7. 验证与排障
查看 Fluent Bit 日志:
sudo journalctl -u fluent-bit -f
查看写入:
SELECT count() FROM default.logs_ingest;
SELECT count() FROM default.dns_logs_ingest;
常见错误:
connection refused:8443 未监听或网络未放行。legacy Common Name:证书缺 SAN,需重签。