GBase 8a
运维管理
文章

GBase 8a集群加载数据错误日志查看

发表于2024-02-23 14:11:53258次浏览0个评论

默认情况下,日志自动汇总功能处于开启状态。三个日志会统一保存在执行加载任务节点的集群安装主目录(opt)/gcluster/log/gcluster/loader_logs/ 任务id目录下。
关闭日志自动汇总功能:set global gbase_loader_logs_collect=0,加载日志会默认存储在加载节点的/opt/gnode/log/gbase/loader_logs目录下

 

加载错误日志分类
1、加载结果日志:记录加载任务成功与否和执行时间等。
2、错误信息日志:记录未加载成功的源数据。
3、溯源信息日志:记录加载失败原因,定位错误数据位置。

 

加载结果日志:

 cat loader_result.log 
131117|test|t|root|192.168.15.21|192.168.15.21|2019-03-20 14:35:44|2019-03-20 14:35:44|0|0|0|1|4|0|SUCCESS|LOAD DATA INFILE 'file://192.168.15.22/opt/2.txt' into table test.t  datetime format '%Y:%m:%d' fields terminated by ','|

加载完成时将加载结果信息写入日志文件 loader_result.log 中,加载结果信息是以’|’为列分隔符,以’\n’为行分隔符存储的普通文本文件,存放在发起节点 gcluster日志目录($GCLUSTER_HOME/log/ gcluster/ )中 ,不支持指定存放路径。
带有任务id的加载结果日志”131117_loader_result.log”存放在: /gcluster/log/gcluster/loader_logs/ 任务id/目录下

字段 含义 
TASK_ID 加载 ID
DB_NAME 加载数据库名
TB_NAME 加载表名
USER 当前加载用户名
ACCESS_IP 加载发起点 IP
HOST_IP 客户端 IP
START_TIME 加载开始时间
END_TIME 加载结束时间
ELAPSED_TIME 加载耗时
TOTAL_SIZE 加载文件总大小
AVERAGE_SPEED 加载平均速度
LOADED_RECORDS 加载数据条数
SKIPPED_RECORDS 加载数据跳过条数
IGNORED_FILES 加载跳过的文件数
RESULT 加载结果
SQL_CMD 加载 SQL
MESSAGE 错误信息

 

错误数据信息查看:
cat 131117_test_t_n1_192.168.15.22_20190320223545.err 
31589,E,2094-12-13 02:02:02,2082-12-24 01:01:01
16993,jcWaz,02:02:02 2060-10-22,2037-11-17 01:01:01
7584,jubNKAmT,02:02:02 2058-12-24,2066-11-26 01:01:01
7584,jubNKAmT,2058-12-24,2066-11-26 01:01:01

 

数据错误信息日志:
cat 131117_test_t_n1_192.168.15.22_20190320223545.trc
file_name    |   file_offset    |   record_len   |   column    |    reason
/opt/2.txt|0|48|3|validate error
/opt/2.txt|48|52|3|validate error
/opt/2.txt|100|54|3|validate error
/opt/2.txt|154|45|4|validate error

评论

登录后才可以发表评论