活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式


&gt; 监控是集群稳定运行的保障。本文从最轻量的系统表 SQL 巡检，到基于 Shell 的定时告警，再到接入 Prometheus + Grafana 的完整监控方案，分层次介绍 GBase 8a 的监控建设路径。

---

## 一、监控指标体系设计

GBase 8a 集群的监控指标分四个维度：

| 维度               | 关键指标                                            | 告警阈值参考                   |
| -------------------- | ----------------------------------------------------- | -------------------------------- |
| **集群健康** | 节点状态（OPEN/CLOSE）、集群模式（ACTIVE/INACTIVE） | 任一节点 CLOSE 立即告警        |
| **性能**     | 慢查询数、各节点执行时间、并发连接数                | 慢查询数 &gt; 10/分钟             |
| **存储**     | 各节点数据量、数据均衡度、磁盘使用率                | 节点数据量差异 &gt; 30%           |
| **数据同步** | 副本 data\_state、未完成同步的 segment 数           | data\_state ≠ 0 持续 &gt; 5 分钟 |

---

## 二、基于系统表的 SQL 巡检

### 2.1 集群节点状态

```sql
-- 检查所有节点是否 OPEN
SELECT
    node_name,
    ip_address,
    gnode_status,
    data_state,
    last_heartbeat_time
FROM gclusterdb.node_info
WHERE gnode_status != 'OPEN';
-- 返回空结果 = 一切正常；有行 = 有节点异常
```

### 2.2 副本同步状态

```sql
-- 检查未同步完成的副本数
SELECT COUNT(*) AS pending_sync_count
FROM gclusterdb.segment_info
WHERE data_state != 0;

-- 查看哪些 Segment 在同步中及其归属节点
SELECT
    segment_id,
    node_name,
    is_primary,
    data_state,
    version
FROM gclusterdb.segment_info
WHERE data_state != 0
ORDER BY segment_id;
```

### 2.3 数据均衡性

```sql
-- 各节点数据量（GB）及偏差
SELECT
    node_name,
    ROUND(SUM(data_size) / 1073741824, 2) AS data_gb,
    ROUND(
        (SUM(data_size) - AVG(SUM(data_size)) OVER ()) /
        AVG(SUM(data_size)) OVER () * 100, 1
    ) AS pct_deviation    -- 与平均值的偏差百分比
FROM gclusterdb.segment_info
GROUP BY node_name
ORDER BY data_gb DESC;
-- pct_deviation &gt; 30 说明数据倾斜需要关注
```

### 2.4 并发连接数

```sql
-- 当前活跃连接数
SELECT COUNT(*) AS active_connections FROM information_schema.processlist;

-- 各用户的连接数分布
SELECT user, COUNT(*) AS conn_count
FROM information_schema.processlist
GROUP BY user
ORDER BY conn_count DESC;

-- 运行时间超过 5 分钟的 SQL（可能是慢查询或卡死的连接）
SELECT id, user, db, time, state, LEFT(info, 200) AS sql_snippet
FROM information_schema.processlist
WHERE time &gt; 300
ORDER BY time DESC;
```

### 2.5 加载任务监控

```sql
-- 过去 24 小时的加载失败记录
SELECT
    task_id,
    table_name,
    status,
    error_rows,
    start_time,
    end_time
FROM gclusterdb.load_task
WHERE status = 'FAILED'
  AND start_time &gt;= NOW() - INTERVAL 1 DAY;

-- 当前正在执行的加载任务
SELECT task_id, table_name, loaded_rows, start_time,
       TIMESTAMPDIFF(SECOND, start_time, NOW()) AS elapsed_sec
FROM gclusterdb.load_task
WHERE status = 'RUNNING';
```

### 2.6 慢查询统计

```sql
-- 今日慢查询 TOP 10
SELECT
    LEFT(sql_text, 150)      AS sql_pattern,
    COUNT(*)                  AS exec_count,
    ROUND(AVG(query_time), 2) AS avg_sec,
    MAX(query_time)           AS max_sec,
    SUM(rows_examined)        AS total_rows_examined
FROM gclusterdb.slow_log
WHERE start_time &gt;= CURDATE()
GROUP BY LEFT(sql_text, 150)
ORDER BY avg_sec DESC
LIMIT 10;
```

---

## 三、Shell 脚本巡检与告警

### 3.1 节点状态巡检脚本

```bash
#!/bin/bash
# /home/gbase/scripts/check_cluster.sh
# 每 2 分钟执行一次（cron）

GCCLI="gccli -u monitor_user -pmonitor_pwd -e"
WEBHOOK="https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=YOUR_KEY"
LOG=/home/gbase/logs/monitor.log

# 检查节点状态
CLOSED_NODES=$($GCCLI "SELECT node_name FROM gclusterdb.node_info WHERE gnode_status='CLOSE'" 2&gt;/dev/null | grep -v node_name | grep -v "^$")

if [ -n "$CLOSED_NODES" ]; then
    MSG="【GBase 8a 告警】节点异常 CLOSE: $CLOSED_NODES"
    echo "[$(date)] $MSG" &gt;&gt; $LOG
    curl -s -X POST "$WEBHOOK" \
      -H "Content-Type: application/json" \
      -d "{\"msgtype\":\"text\",\"text\":{\"content\":\"$MSG\"}}"
fi

# 检查副本同步
PENDING=$($GCCLI "SELECT COUNT(*) FROM gclusterdb.segment_info WHERE data_state!=0" 2&gt;/dev/null | tail -1 | tr -d ' ')

if [ "$PENDING" -gt 0 ] 2&gt;/dev/null; then
    MSG="【GBase 8a 告警】${PENDING} 个 Segment 副本未同步完成，请检查"
    echo "[$(date)] $MSG" &gt;&gt; $LOG
    curl -s -X POST "$WEBHOOK" \
      -H "Content-Type: application/json" \
      -d "{\"msgtype\":\"text\",\"text\":{\"content\":\"$MSG\"}}"
fi
```

注册 cron（gbase 用户）：

```bash
crontab -e
# 追加：
*/2 * * * * /home/gbase/scripts/check_cluster.sh
```

### 3.2 磁盘使用率监控

```bash
#!/bin/bash
# 检查所有节点磁盘使用率（在主节点 SSH 到各节点执行）

NODES=("10.168.10.26" "10.168.10.27" "10.168.10.28" "10.168.10.29")
THRESHOLD=85   # 超过 85% 告警

for node in "${NODES[@]}"; do
    USAGE=$(ssh gbase@$node "df -h /opt/gbase | tail -1 | awk '{print \$5}' | tr -d '%'")
    if [ "$USAGE" -gt "$THRESHOLD" ] 2&gt;/dev/null; then
        echo "【告警】$node 磁盘使用率 ${USAGE}%，超过 ${THRESHOLD}%"
    fi
done
```

### 3.3 每日巡检报告

```bash
#!/bin/bash
# daily_health_report.sh：每天 08:00 发送昨日巡检报告

GCCLI="gccli -u monitor_user -pmonitor_pwd"

# 生成报告内容
REPORT=$(cat &lt;= NOW() - INTERVAL 1 MINUTE
            """)
            slow_query_count._value.set(cur.fetchone()[0])
        
        conn.close()
    except Exception as e:
        print(f"采集指标失败: {e}")

if __name__ == '__main__':
    # 在 9101 端口暴露 Prometheus 指标
    start_http_server(9101)
    print("GBase 8a Exporter 已启动，监听端口 9101")
    
    while True:
        collect_metrics()
        time.sleep(30)   # 每 30 秒采集一次
```

启动 exporter：

```bash
# 后台运行
nohup python3 gbase8a_exporter.py &gt; /home/gbase/logs/exporter.log 2&gt;&amp;1 &amp;

# 或注册为 systemd 服务（推荐生产环境）
```

### 4.3 Prometheus 配置

```yaml
# prometheus.yml 中追加 scrape 配置
scrape_configs:
  - job_name: 'gbase8a'
    static_configs:
      - targets: ['10.168.10.26:9101']
    scrape_interval: 30s
    scrape_timeout: 10s
```

### 4.4 Grafana Dashboard 关键面板

| 面板名称         | 使用的指标                               | 图表类型              |
| ------------------ | ------------------------------------------ | ----------------------- |
| 集群节点状态总览 | `gbase8a_node_status`                | State Timeline / Stat |
| 各节点数据量对比 | `gbase8a_node_data_gb`               | Bar Chart             |
| 副本同步待完成数 | `gbase8a_segment_pending_sync`       | Gauge                 |
| 活跃连接数趋势   | `gbase8a_active_connections`         | Time Series           |
| 慢查询频率       | `rate(gbase8a_slow_query_total[5m])` | Time Series           |

---

## 五、告警规则（Prometheus Alertmanager）

```yaml
# alerting_rules.yml

groups:
  - name: gbase8a_alerts
    rules:

      # 节点 CLOSE 立即告警
      - alert: GBase8aNodeDown
        expr: gbase8a_node_status == 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "GBase 8a 节点 {{ $labels.node_name }} 状态异常"
          description: "节点 {{ $labels.ip }} ({{ $labels.node_name }}) 已 CLOSE 超过 1 分钟"

      # 副本同步异常
      - alert: GBase8aSegmentSyncPending
        expr: gbase8a_segment_pending_sync &gt; 0
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "GBase 8a 有 {{ $value }} 个 Segment 未完成同步"

      # 数据倾斜（某节点数据量超平均值 40%）
      - alert: GBase8aDataSkew
        expr: |
          (gbase8a_node_data_gb - avg(gbase8a_node_data_gb))
          / avg(gbase8a_node_data_gb) &gt; 0.4
        for: 30m
        labels:
          severity: warning
        annotations:
          summary: "节点 {{ $labels.node_name }} 数据量偏差超 40%，可能存在数据倾斜"

      # 连接数过高
      - alert: GBase8aConnectionHigh
        expr: gbase8a_active_connections &gt; 400
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "GBase 8a 活跃连接数 {{ $value }}，接近上限"
```

---

## 六、监控体系建设路径建议

```
阶段 1（快速上线，1~2 天）
  → 部署 Shell 脚本巡检 + 企业微信/钉钉 Webhook 告警
  → 覆盖：节点状态、副本同步、磁盘使用率
  → 成本低，效果立竿见影

阶段 2（精细化，1~2 周）
  → 部署自定义 Python Exporter
  → 接入已有的 Prometheus + Grafana 平台
  → 覆盖：连接数、慢查询、数据均衡、加载任务

阶段 3（智能化，按需）
  → 配置 Alertmanager 告警路由（值班轮转、不同级别告警不同通道）
  → 历史数据趋势分析（容量规划、慢查询回归分析）
  → 与 CMDB / 运维平台打通
```

---

## 七、监控用户权限配置

为监控脚本创建专用的只读账号：

```sql
-- 创建监控用户（只读，仅允许监控节点 IP 连接）
CREATE USER 'monitor_user'@'10.168.10.%' IDENTIFIED BY 'Monitor#2024!';

-- 授予系统表查询权限
GRANT SELECT ON gclusterdb.*             TO 'monitor_user'@'10.168.10.%';
GRANT SELECT ON information_schema.*     TO 'monitor_user'@'10.168.10.%';

FLUSH PRIVILEGES;
```



运维管理

GBase 8a 集群监控体系建设：系统表 + Shell 脚本 + Prometheus 全方案

GBase 8a 集群监控体系建设：系统表 + Shell 脚本 + Prometheus 全方案

评论

热门帖子