Initial commit (code only without large binaries)
This commit is contained in:
robin
197
deploy/clickhouse/README.md
Normal file
197
deploy/clickhouse/README.md
Normal file
@@ -0,0 +1,197 @@
|
||||
# ClickHouse + Fluent Bit 快速部署（Ubuntu 22.04 / Amazon Linux 2023）
|
||||
|
||||
## 1. 脚本说明
|
||||
|
||||
- `setup_clickhouse.sh`：一键入口（推荐），默认顺序执行 安装 ClickHouse -> 配置 HTTPS -> 应用运行参数 -> 初始化日志表。
|
||||
- `install_clickhouse_linux.sh`：安装 `clickhouse-server`、`clickhouse-client`，并启动服务。
|
||||
- `configure_clickhouse_https.sh`：生成自签名 `server.crt + server.key`，写入 HTTPS 配置并重启服务。
|
||||
- `configure_clickhouse_runtime.sh`：默认将日志级别设为 `warning`，并禁用高开销系统日志表（`text_log`、`part_log`、`metric_log`、`asynchronous_metric_log`、`trace_log`）。
|
||||
- `init_waf_logs_tables.sh`：执行建表脚本。
|
||||
- `init_waf_logs_tables.sql`：`logs_ingest`、`dns_logs_ingest` 表结构定义。
|
||||
|
||||
进入脚本所在目录
|
||||
```bash
|
||||
cd /opt/waf-platform/deploy/clickhouse
|
||||
chmod +x setup_clickhouse.sh
|
||||
```
|
||||
|
||||
## 2. 一键部署
|
||||
|
||||
### 2.1 方式A：不设置 ClickHouse 密码（用户名固定 `default`）
|
||||
|
||||
```bash
|
||||
sudo ./setup_clickhouse.sh
|
||||
```
|
||||
|
||||
说明：
|
||||
- ClickHouse 连接用户是 `default`
|
||||
- 未设置密码时，后续平台连接密码留空
|
||||
|
||||
### 2.2 方式B：设置用户名/密码（示例使用 `default`）
|
||||
|
||||
```bash
|
||||
sudo CH_USER='default' \
|
||||
CH_PASSWORD='YourStrongPassword' \
|
||||
CH_DATABASE='default' \
|
||||
./setup_clickhouse.sh
|
||||
```
|
||||
|
||||
说明：
|
||||
- `CH_USER`/`CH_PASSWORD`：初始化日志表时用于连接 ClickHouse
|
||||
- 如果你使用自定义用户，把 `CH_USER` 改为你的用户名，并保证该用户已有对应数据库权限
|
||||
|
||||
可选：单独应用运行参数（日志级别/系统日志表开关）：
|
||||
|
||||
```bash
|
||||
sudo CH_LOG_LEVEL=warning ./setup_clickhouse.sh runtime
|
||||
```
|
||||
|
||||
## 3. ClickHouse 安装后关键目录
|
||||
|
||||
- 配置目录：`/etc/clickhouse-server/`
|
||||
- 客户端配置目录：`/etc/clickhouse-client/`
|
||||
- 数据目录：`/var/lib/clickhouse/`
|
||||
- 日志目录：`/var/log/clickhouse-server/`
|
||||
- HTTPS 覆盖配置：`/etc/clickhouse-server/config.d/waf-https.xml`
|
||||
- 运行参数覆盖配置：`/etc/clickhouse-server/config.d/waf-runtime.xml`
|
||||
- HTTPS 证书和私钥：`/etc/clickhouse-server/server.crt`、`/etc/clickhouse-server/server.key`
|
||||
- 证书生成中间文件目录：`/etc/clickhouse-server/pki/`
|
||||
|
||||
## 4. 管理平台配置（EdgeAdmin）
|
||||
|
||||
页面路径：
|
||||
- 左侧菜单：`系统设置` -> `高级设置`
|
||||
- 顶部标签：`日志数据库（ClickHouse）`
|
||||
|
||||
表单填写：
|
||||
- `连接地址（Host）`：ClickHouse 地址（IP 或域名），如 `10.0.0.8` 或 `clickhouse.example.com`
|
||||
- `协议（Scheme）`：`https`
|
||||
- `端口（Port）`：`8443`
|
||||
- `用户名（User）`：`default`（或你自定义的用户名）
|
||||
- `密码（Password）`：对应用户密码
|
||||
- `数据库（Database）`：`default`（或你初始化日志表时使用的库名）
|
||||
|
||||
提交顺序：
|
||||
1. 点“测试连接”
|
||||
2. 连接成功后点“保存”
|
||||
|
||||
## 5. Fluent Bit（两种方式）
|
||||
|
||||
### 5.1 跟随节点在线自动安装（推荐）
|
||||
|
||||
说明：
|
||||
- Node / DNS 在线安装或升级时，平台会自动安装/升级 Fluent Bit 并下发配置。
|
||||
- 默认由平台托管，不需要逐台手改配置文件。
|
||||
|
||||
安装后所在节点关键文件：
|
||||
- `/etc/fluent-bit/fluent-bit.conf`：Fluent Bit 主配置（输入日志路径、输出 ClickHouse、性能参数）。
|
||||
- `/etc/fluent-bit/parsers.conf`：日志解析器定义（当前主要使用 JSON parser）。
|
||||
- `/etc/fluent-bit/.edge-managed.env`：平台下发的 ClickHouse 认证环境变量（`CH_USER`/`CH_PASSWORD`）。
|
||||
- `/etc/fluent-bit/.edge-managed.json`：平台下发的元数据（角色、配置哈希、版本、更新时间）。
|
||||
|
||||
|
||||
说明：
|
||||
- 在线安装时，节点上的 `/etc/fluent-bit/fluent-bit.conf` 会被平台下发覆盖。
|
||||
|
||||
fluent-bit中ClickHouse 账号密码下发与更新逻辑：
|
||||
- 下发来源：管理平台 -日志数据库（ClickHouse）中保存的账号密码。
|
||||
- 落地文件：平台在线安装或升级时写入节点 `/etc/fluent-bit/.edge-managed.env`，内容为 `CH_USER`、`CH_PASSWORD`。
|
||||
- 更新触发：当平台里的 ClickHouse 账号或密码变更后，需触发一次节点安装/升级任务以下发新凭证。
|
||||
|
||||
- 常见问题：只在 ClickHouse 侧改密码、未同步更新平台配置时，Fluent Bit 会出现认证失败（401/unauthorized）。
|
||||
|
||||
高配机器调优（当前默认按 4C8G 参数）：
|
||||
- 当前默认参数：`Flush=1`、`storage.backlog.mem_limit=512MB`、`Mem_Buf_Limit=256MB`、`workers=2`。
|
||||
- 机器升配后优先调这 4 个参数：
|
||||
- `storage.backlog.mem_limit`：总缓冲上限（先增大，降低突发堆积丢日志风险）。
|
||||
- `Mem_Buf_Limit`：每个 tail input 的内存缓冲（HTTP 与 DNS 两段都要改）。
|
||||
- `workers`：输出并发写入线程数（HTTP 与 DNS 两段都要改）。
|
||||
- `Flush`：刷盘/发送间隔（值越小越实时，CPU/网络开销更高）。
|
||||
- 8C16G 参考值可按 `deploy/fluent-bit/fluent-bit-sample-8c16g.conf`：
|
||||
- `storage.backlog.mem_limit=1024MB`
|
||||
- `Mem_Buf_Limit=512MB`
|
||||
- `workers=4`
|
||||
- `Refresh_Interval=1`
|
||||
- 修改方法：
|
||||
1. 编辑 `EdgeAPI/internal/installers/fluent_bit.go` 的 `renderManagedConfig()`。
|
||||
2. 按上面参数同步修改 Node/DNS 两段 `[INPUT]` 和 `[OUTPUT]`。
|
||||
3. 重新发布 API 并触发节点安装/升级任务，下发新配置。
|
||||
|
||||
检查：
|
||||
|
||||
```bash
|
||||
sudo systemctl status fluent-bit --no-pager
|
||||
sudo cat /etc/fluent-bit/.edge-managed.json
|
||||
sudo journalctl -u fluent-bit -n 100 --no-pager
|
||||
```
|
||||
|
||||
### 5.2 手动安装（自动安装失败时）
|
||||
|
||||
说明：
|
||||
- 适合节点在线自动安装 Fluent Bit 失败的场景。
|
||||
- 采用在线安装方式，由你手动安装并维护配置。
|
||||
|
||||
步骤：
|
||||
|
||||
1. 在线安装 Fluent Bit。
|
||||
|
||||
Ubuntu 22.04：
|
||||
|
||||
```bash
|
||||
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
|
||||
sudo apt-get update -y
|
||||
sudo apt-get install -y fluent-bit
|
||||
```
|
||||
|
||||
AWS 2023：
|
||||
|
||||
```bash
|
||||
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
|
||||
sudo dnf makecache -y
|
||||
sudo dnf install -y fluent-bit
|
||||
```
|
||||
|
||||
2. 放置配置文件：
|
||||
|
||||
```bash
|
||||
sudo mkdir -p /etc/fluent-bit
|
||||
sudo cp /opt/waf-platform/deploy/fluent-bit/fluent-bit.conf /etc/fluent-bit/
|
||||
sudo cp /opt/waf-platform/deploy/fluent-bit/clickhouse-upstream.conf /etc/fluent-bit/
|
||||
sudo cp /opt/waf-platform/deploy/fluent-bit/parsers.conf /etc/fluent-bit/
|
||||
```
|
||||
|
||||
3. 修改 `/etc/fluent-bit/clickhouse-upstream.conf` 的 ClickHouse `Host`、`Port`（如 `8443`）。
|
||||
4. 配置认证环境变量（按需）：
|
||||
|
||||
```bash
|
||||
sudo tee /etc/fluent-bit/fluent-bit.env >/dev/null <<'EOF'
|
||||
CH_USER=default
|
||||
CH_PASSWORD=YourStrongPassword
|
||||
EOF
|
||||
```
|
||||
|
||||
5. 让 systemd 读取环境变量：
|
||||
|
||||
```bash
|
||||
sudo mkdir -p /etc/systemd/system/fluent-bit.service.d
|
||||
sudo tee /etc/systemd/system/fluent-bit.service.d/override.conf >/dev/null <<'EOF'
|
||||
[Service]
|
||||
EnvironmentFile=/etc/fluent-bit/fluent-bit.env
|
||||
EOF
|
||||
```
|
||||
|
||||
6. 启动并检查：
|
||||
|
||||
```bash
|
||||
sudo systemctl daemon-reload
|
||||
sudo systemctl enable fluent-bit
|
||||
sudo systemctl restart fluent-bit
|
||||
sudo systemctl status fluent-bit --no-pager
|
||||
sudo journalctl -u fluent-bit -n 100 --no-pager
|
||||
```
|
||||
|
||||
## 6. 验证
|
||||
|
||||
```bash
|
||||
sudo journalctl -u fluent-bit -f
|
||||
```
|
||||
Reference in New Issue
Block a user