活动专区

活动公告

上车！GBase 8a开发者联盟发车了 技术福利、人脉资源全都有！

认证培训专区

认证培训资料

GBase 8s GDCA 认证培训课前准备

GBase 8a

其他

物化视图报错：references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them

01-GBase 8s 事务型数据库 安装与卸载

GBase 8s

适配迁移

[GBase 8s 教程]GBase 8s 常用函数、表达式

数据迁移是 GBase 8a 落地绕不开的环节。生产环境的数据量少则百万级，多则数十亿，普通的 `INSERT` 单条写入在性能上完全不可接受。GBase 8a 提供了专门的高速批量加载工具 `gload`，以及对应的导出工具 `gunload`，掌握这两个工具的使用是 DBA 的基本功。

本文覆盖：

- gload 的工作原理与参数调优
- 常见加载失败的原因与处理
- gunload 导出的几种场景
- 增量数据与实时同步的替代方案

## 一、gload 的工作原理

`gload` 是 GBase 8a 的高速批量加载工具，底层走的是 **分布式并行写入**：客户端解析 CSV/文本文件后，按数据节点（DataNode）数量切分，直接发送到对应 DN 的数据目录，跳过 SQL 解析层，绕过 Write-Ahead Log（WAL）的部分开销，从而实现比 INSERT 快 10–100 倍的导入速度。

```bash
# 典型 gload 命令行
gload -h cn_host -P 5258 -u gbase -p password \
  -d db_name -t table_name \
  -f /data/backup/orders_20260529.csv \
  -F ','
```

**关键参数说明**：

| 参数 | 说明 | 推荐值 |
|------|------|--------|
| `-f` | 数据文件路径 | 支持 CSV/TXT |
| `-F` | 字段分隔符 | 默认逗号 |
| `-t` | 目标表名 | — |
| `-d` | 数据库名 | — |
| `--batch-size` | 批量提交大小 | 10000–50000 |
| `--parallel` | 并行度 | DN 节点数的倍数 |
| `--error-dir` | 错误数据输出目录 | 必须指定 |

## 二、加载前的准备工作

### 1. 确认目标表结构

加载前必须确认表已存在，且结构与数据文件匹配：

```sql
-- 查看目标表结构
DESC t_orders;

-- 确认分布键
SHOW CREATE TABLE t_orders;
```

**分布键影响加载性能**：若数据文件按某列排序，而该列恰好是分布键，导入时同节点数据会集中写到同一 DN，可能触发单节点写入热点。生产环境建议提前测试不同分布键下的加载性能。

### 2. 清理目标表

首次全量加载时，建议先清空目标表：

```sql
TRUNCATE TABLE t_orders;
```

或用 `LOAD DATA INFILE` 前的 `DELETE` 配合 `VACUUM`，但 `TRUNCATE` 更快（直接清文件）。

### 3. 数据文件格式要求

GBase 8a 加载对数据文件有严格要求：

- **编码**：UTF-8 或 GBK，需与数据库字符集一致
- **分隔符**：逗号（`,`）、制表符（`\t`）、管道符（`|`）均可，但避免与数据内容冲突
- **换行符**：Unix 风格（`\n`），Windows 的 `\r\n` 需预处理
- **引号处理**：若数据含分隔符，需用双引号包裹

```bash
# 预处理：统一换行符、去除 Windows BOM
sed -i 's/\r$//' orders.csv
sed -i '1d' orders.csv  # 若有表头
```

### 4. 字段映射

若 CSV 列顺序与表字段不一致，用 `--fields-terminated-by` + `--columns` 指定映射：

```bash
gload -h cn_host -P 5258 -u gbase -p password \
  -d db_name -t t_orders \
  -f /data/orders.csv \
  --columns "order_id,user_id,amount,create_time" \
  --batch-size 20000
```

## 三、gload 参数调优

### 1. 并行度设置

`--parallel` 控制导入的并发度，理论上设为 **DN 节点数的 2–4 倍**效果最佳：

```bash
# 假设集群有 6 个 DN，设置 12 并行
gload ... --parallel 12
```

若并行过高，可能打满 CN 或网络；过低则未充分利用集群资源。

### 2. 批量大小

`--batch-size` 决定每次提交的行数，影响内存占用和提交频率：

```sql
-- 经验值：行越大（KB 级），batch-size 宜小；行较小（几百字节），可加大
-- 示例：每行约 200 字节，batch-size 20000 约 4MB/批
gload ... --batch-size 20000
```

### 3. 错误处理策略

生产加载必须指定错误数据目录：

```bash
gload ... --error-dir /data/load_errors
```

加载结束后检查：

```bash
# 查看错误记录
cat /data/load_errors/*.error | head -20

# 常见错误类型
# 1. 列数不匹配：CSV 列数与表字段数不一致
# 2. 数据截断：字段长度超限
# 3. 格式错误：日期/数字格式不对
```

### 4. 加载性能监控

加载过程中可在另一个终端监控：

```sql
-- 查看当前加载进度（通过系统表）
SELECT * FROM企业管理.load_progress;

-- 监控 DN 写入量
SELECT node_id, SUM(rows_loaded) 
FROM企业管理.load_history 
GROUP BY node_id;
```

## 四、常见加载失败与处理

### 问题 1：字符集不匹配

**错误表现**：`Invalid UTF-8 sequence` 或加载后中文乱码

**处理**：

```bash
# 确认文件编码
file -i orders.csv

# 若为 GBK 编码，需指定
gload ... --charset GBK

# 或转换编码
iconv -f GBK -t UTF-8 orders_gbk.csv &gt; orders_utf8.csv
```

### 问题 2：分布键数据倾斜

**错误表现**：加载成功但查询性能异常，单 DN CPU 持续偏高

**处理**：检查数据分布：

```sql
SELECT node_id, COUNT(*) 
FROM t_orders 
GROUP BY node_id 
ORDER BY COUNT(*) DESC;
```

若分布不均，查看分布键是否有热点值（如大量 `user_id = 0`），考虑更换分布键或重新分布：

```sql
ALTER TABLE t_orders REDISTRIBUTE BY HASH(user_id);
```

### 问题 3：主键/唯一键冲突

**错误表现**：`Duplicate key error` 或 `--error-dir` 产生大量错误记录

**处理方案**：

1. **加载前清空表**（首次全量）
2. **增量加载用 REPLACE**：

```bash
gload ... --mode REPLACE  -- 或用 LOAD MODE 配置
```

3. **加载后清理重复**：

```sql
DELETE FROM t_orders a
WHERE EXISTS (
  SELECT 1 FROM t_orders b
  WHERE a.id = b.id AND a.ctid &lt; b.ctid
);
```

### 问题 4：数据文件含表头

**错误表现**：第一条数据变成了 `NULL` 或类型错误

**处理**：删除表头或用 `--ignore-lines` 跳过：

```bash
gload ... --ignore-lines 1
```

## 五、gunload 导出

与 gload 对应，`gunload` 用于高速导出：

```bash
# 导出全表
gunload -h cn_host -P 5258 -u gbase -p password \
  -d db_name -t t_orders \
  -f /data/export/orders_$(date +%Y%m%d).csv

# 导出带条件
gunload -h cn_host -P 5258 -u gbase -p password \
  -d db_name -t t_orders \
  -f /data/export/orders_2026.csv \
  --query "SELECT * FROM t_orders WHERE create_time &gt;= '2026-01-01'"
```

**gunload 限制**：

- 导出文件落在 CN 节点本地，需 `scp` 或 NFS 共享收集
- 不支持直接导出到远程 S3/OSS（需额外脚本）

## 六、大数据量分片导出

单表数十亿行时，全量导出会话时间过长或占用大量 CN 磁盘。建议按时间或 ID 分片导出：

```bash
#!/bin/bash
# 分片导出脚本示例
START_ID=0
BATCH=50000000
DATE=$(date +%Y%m%d)

for ((i=0; i&lt;10; i++)); do
  START=$((i * BATCH))
  gunload ... \
    --query "SELECT * FROM t_orders WHERE id &gt;= $START AND id &lt; $((START + BATCH))" \
    -f /data/export/orders_${DATE}_part${i}.csv &amp;
done
wait
echo "导出完成：/data/export/orders_${DATE}_part*.csv"
```

## 七、增量数据同步方案

gload/gunload 是批量工具，不适合实时增量同步。生产环境增量数据同步方案：

| 方案 | 适用场景 | 延迟 |
|------|----------|------|
| **CDC + Kafka** | 异构数据库同步 | 秒级 |
| **Binlog 订阅** | 同构 MySQL 迁入 | 秒级 |
| **定时增量 LOAD** | 数据量可控、允许分钟级 | 分钟级 |
| **DBLink/FDW** | 跨库查询，非同步 | 实时 |

若业务允许分钟级延迟，建议用 **定时增量 LOAD**：

```bash
#!/bin/bash
# 每 5 分钟增量加载一次
while true; do
  MAX_ID=$(mysql -h gbase -u gbase -p -N -e "SELECT MAX(id) FROM t_orders")
  gload ... --query "SELECT * FROM src_db.t_orders WHERE id &gt; $MAX_ID"
  sleep 300
done
```

## 八、总结

gload 是 GBase 8a 批量加载的核心工具，掌握以下要点：

- **加载前**：确认表结构、清理目标表、预处理文件格式（编码/换行/分隔符）
- **参数调优**：并行度设为 DN 数 2–4 倍，batch-size 根据行大小调整 1–5 万
- **错误处理**：必须指定 `--error-dir`，加载后检查错误记录
- **分布键**：加载后检查数据分布，倾斜需 REDISTRIBUTE
- **大表导出**：用 gunload + 分片脚本，避免单会话超时

生产环境首次全量加载建议在业务低峰期执行，并提前测试加载性能作为基线。



GBase 8a 数据导入导出实战：从 gload 到 gclustergfskep 全流程

评论

热门帖子