gbload加载时数据skip定位
skip现象判断
1.数据发送正常
2.gbload上游数据处理正常,且符合表的对应规则
3.上游处理完后的数据与数据库内查询到的数据,数据量不一致
数据加载skip查找办法
A.gbload服务器操作内容
1.使用root用户登录对应中心的gbload服务器
2.执行sh /opt/find_gbload.sh 脚本,脚本输出为gblaod_server主程序的目录,数据文件存储目录以及最旧的数据时间
3.进入到第2步中获取到的gbload_server主程序目录内
4.执行 cat gbload_server.conf | grep gbload_database_server_host 获取该gbload_server 执行加载任务对应的数据库coor地址
B.数据库服务器操作内容
1.使用gbase用户登录第四步中获取到的 coor 地址
2.进入 $GCLUSTER_BASE/log/gcluster/ 目录内,
3.先查找 loader_result.log,该日志为加载的结果汇总日志,存储日志加载的汇总信息,结果以管道符 |作为分割 ,其中加载任务号为第一段,后续会用到,记录加载成功的为第12段,加载skip的为第13段,执行 cat $GCLUSTER_BASE/log/gcluster/loader_result.log |grep 表名| awk -F '|' '{if ($13 > 0) print $1,$2,$2,$7,$12,$13}' |tail 可以查找到指定表的加载失败记录,
4.根据第七步中找到的加载任务号,去loader_logs 内查找对应的目录,可以找到任务对应的加载skip的详细信息,文件夹内的err文件是skip后保存的数据,trc是加载skip的具体原因。
热门帖子
- 12025-12-01浏览数:182763
- 22023-05-09浏览数:25057
- 42023-09-25浏览数:18525
- 52020-05-11浏览数:17528