Files
waf-platform/deploy/clickhouse

ClickHouse + Fluent Bit 使用手册Ubuntu 22.04 / Amazon Linux 2023

1. 支持范围

  • Ubuntu 22.04
  • Amazon Linux 2023AWS

安装脚本:install_clickhouse_linux.sh(自动识别上述系统)。

2. 安装 ClickHouse

cd /path/to/waf-platform/deploy/clickhouse
chmod +x install_clickhouse_linux.sh
sudo ./install_clickhouse_linux.sh

可选:安装时初始化 default 用户密码:

sudo CLICKHOUSE_DEFAULT_PASSWORD='YourStrongPassword' ./install_clickhouse_linux.sh

3. 开启 HTTPS默认仅 crt+key

脚本默认生成 server.crt + server.key(带 SAN并启用 8443

cd /path/to/waf-platform/deploy/clickhouse
chmod +x configure_clickhouse_https.sh
sudo CH_HTTPS_PORT=8443 \
     CH_CERT_CN=clickhouse.example.com \
     CH_CERT_DNS=clickhouse.example.com \
     CH_CERT_IP=<CLICKHOUSE_IP> \
     ./configure_clickhouse_https.sh

使用已有证书:

sudo SRC_CERT=/path/to/server.crt \
     SRC_KEY=/path/to/server.key \
     CH_HTTPS_PORT=8443 \
     ./configure_clickhouse_https.sh

4. 初始化日志表(含优化)

cd /path/to/waf-platform/deploy/clickhouse
chmod +x init_waf_logs_tables.sh
sudo CH_HOST=127.0.0.1 \
     CH_PORT=9000 \
     CH_USER=default \
     CH_PASSWORD='YourStrongPassword' \
     CH_DATABASE=default \
     ./init_waf_logs_tables.sh

说明:

  • init_waf_logs_tables.sql 已内置主要优化(CODECLowCardinality、跳数索引)。
  • optimize_schema.sql 主要用于历史表补齐优化,不是首次建表必需步骤。

5. 平台侧配置EdgeAdmin

在 ClickHouse 设置页配置:

  • HostClickHouse 地址
  • Port8443
  • Databasedefault
  • Schemehttps

当前实现说明:

  • 前端不再提供 TLS跳过校验TLS Server Name 配置项。
  • 后端固定 TLSSkipVerify=true(默认不校验证书)。

保存后点击“测试连接”。

6. Fluent Bit 配置方式

推荐平台托管模式(在线安装/升级 Node、DNS 时自动下发):

  • /etc/fluent-bit/fluent-bit.conf
  • /etc/fluent-bit/.edge-managed.env
  • /etc/fluent-bit/.edge-managed.json

检查状态:

sudo systemctl status fluent-bit --no-pager
sudo cat /etc/fluent-bit/.edge-managed.json

7. 验证与排障

查看 Fluent Bit 日志:

sudo journalctl -u fluent-bit -f

查看写入:

SELECT count() FROM default.logs_ingest;
SELECT count() FROM default.dns_logs_ingest;

常见错误:

  • connection refused8443 未监听或网络未放行。
  • legacy Common Name:证书缺 SAN需重签。