GBase 8a
运维管理
文章

gbase_loader_logs_collect 参数

发表于2025-08-15 18:24:0179次浏览0个评论

参数说明:
通过变量 gbase_loader_logs_collect 变更控制集群加载日志汇总功能的开关,有效值[0,1],默认值为 1,表示开启汇总功能,该变量支持 set 方式修改与配置文件方式修改。
对于集群加载,如果 gbase_loader_logs_collect 为 1,错误数据与溯源信息汇总到加载发起节点,并存储到 gbase_loader_logs_dir 指定目录, 否则不进行错误数据与溯源信息日志的汇总。

[gbase@gbase1 ~]$ gccli -uroot -p test
Enter password: 
GBase client 9.5.2.46.6_patch.8224763e. Copyright (c) 2004-2025, GBase.  All Rights Reserved.

gbase> use test;
Query OK, 0 rows affected (Elapsed: 00:00:00.01)

gbase> show variables like '%gbase_loader_logs_collect%';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| gbase_loader_logs_collect | ON    |
+---------------------------+-------+
1 row in set (Elapsed: 00:00:00.01)

gbase> set global gbase_loader_logs_collect=0;
Query OK, 0 rows affected (Elapsed: 00:00:00.83)

gbase> show variables like '%loader_logs%';
+---------------------------+-----------------------------------------+
| Variable_name             | Value                                   |
+---------------------------+-----------------------------------------+
| gbase_loader_logs_collect | OFF                                     |
| gbase_loader_logs_dir     | /opt/gcluster/log/gcluster/loader_logs/ |
+---------------------------+-----------------------------------------+
2 rows in set (Elapsed: 00:00:00.00)

gbase>  load data infile 'file://192.168.10.111/home/gbase/t1/t1' into table test.tb fields terminated by '\t' null_value 'NULL';
Query OK, 20001 rows affected (Elapsed: 00:00:01.37)
Task 41986 finished, Loaded 20001 records, Skipped 2 records
[gbase@gbase1 ~]$ ll /opt/gcluster/log/gcluster/loader_logs/
总用量 0
[gbase@gbase1 ~]$ ll  /opt/gnode/log/gbase/loader_logs/
总用量 0

当我们把参数 gbase_loader_logs_collect 设置为0时,可以发现日志未被收集到加载节点的gbase_loader_logs_dir目录下,检查后发现在192.168.10.111节点:

[gbase@gbase2 t1]$ ll /opt/gcluster/log/gcluster/loader_logs/
总用量 0
[gbase@gbase2 t1]$ ll  /opt/gnode/log/gbase/loader_logs/
总用量 8
-rw-------. 1 gbase gbase  16 8月  15 17:54 41986_test_tb_192.168.10.111_20250815175421.err
-rw-------. 1 gbase gbase 157 8月  15 17:54 41986_test_tb_192.168.10.111_20250815175421.trc


gbase> set global gbase_loader_logs_collect=1;
Query OK, 0 rows affected (Elapsed: 00:00:00.03)

gbase> show variables like '%loader_logs%';
+---------------------------+-----------------------------------------+
| Variable_name             | Value                                   |
+---------------------------+-----------------------------------------+
| gbase_loader_logs_collect | ON                                      |
| gbase_loader_logs_dir     | /opt/gcluster/log/gcluster/loader_logs/ |
+---------------------------+-----------------------------------------+
2 rows in set (Elapsed: 00:00:00.00)
gbase>  load data infile 'file://192.168.10.111/home/gbase/t1/t1' into table test.tb fields terminated by '\t' null_value 'NULL';
Query OK, 20001 rows affected (Elapsed: 00:00:00.62)
Task 41987 finished, Loaded 20001 records, Skipped 2 records

gbase> \q
Bye

[gbase@gbase1 ~]$ ll /opt/gcluster/log/gcluster/loader_logs/41987/
总用量 12
-rw-------. 1 gbase gbase 236 8月  15 18:13 41987_loader_result.log
-rw-------. 1 gbase gbase  16 8月  15 18:13 41987_test_tb_192.168.10.111_20250815181317.err
-rw-------. 1 gbase gbase 157 8月  15 18:13 41987_test_tb_192.168.10.111_20250815181317.trc


经过测试我们可以发现,GBase 8a在load加载数据时,其实是在数据节点进行操作。load过程中如果出现报错也会记录到数据节点,为了方便获取报错日志,通过参数 gbase_loader_logs_collect 将日志自动收集到执行load命令的管理节点。

此外还可以通过在执行load操作的管理节点执行 show load logs Taskid 的方式查看报错信息:
gbase> show load logs 41987;
+---------+---------+---------+----------------+-------------------+-------------+------------+------------+-----------------+-----------+
| task_id | db_name | tb_name | err_data_ip    | file_name         | file_offset | record_len | err_column | err_reason      | err_data  |
+---------+---------+---------+----------------+-------------------+-------------+------------+------------+-----------------+-----------+
| 41987   | test    | tb      | 192.168.10.111 | /home/gbase/t1/t1 | 430         | 9          | 1          | Validate error  | CC   a9466|
| 41987   | test    | tb      | 192.168.10.111 | /home/gbase/t1/t1 | 479         | 7          | 1          | Validate error  | aa   6af  |
+---------+---------+---------+----------------+-------------------+-------------+------------+------------+-----------------+-----------+
2 rows in set (Elapsed: 00:00:00.00)

评论

登录后才可以发表评论