GBase 8a hdfs的文件加载配置kerberos认证

GBase 8a支持kerberos认证加载hadoop里hdfs文件

1、配置文件

1）将kerberos秘钥文件放到集群gcluster和gnod目录下config目录下

2）将kdc配置文件krb5.conf放到集群各个节点的/etc/目录下

3）集群所有节点需配置/etc/hosts，添加 Hadoop 的 Namenode 和 Datanode 的 IP 地址和主机名映射

2、配置参数

gbase_hdfs_auth_mode = kerberos
gbase_hdfs_protocol = http
gbase_hdfs_principal = aaa@BDX.SD.CMCC

gbase_hdfs_namenodes='192.168.1.1,192.168.1.2'

hdfs参数需要在每个 gcluster 和 gnode 的配置文件的[gbased]段中添加。

这些参数均支持set方式临时设置。建议调试可用后，再写入配置文件。

3、测试样例

gbase> set gbase_hdfs_protocol=http;set gbase_hdfs_auth_mode=kerberos;set gbase_hdfs_principal='aaa@BDX.SD.CMCC';load data infile 'hdp://xxx@192.168.1.1:50070/tmp/aibdx/test' into table ssbm.test fields terminated by '\t';
Query OK, 3 rows affected (Elapsed: 00:00:00.31)
Task 1835031 finished, Loaded 3 records, Skipped 0 records

4、其他

GBase 8a集群可以加载hdfs文件，如果hadoop做了某些安全加固，特别是http/https导致认证失败时,可以用rpc协议试试。

设置协议为prc模式，加载端口改为8020：

gbase> set gbase_hdfs_protocol=rpc;set gbase_hdfs_auth_mode=kerberos;set gbase_hdfs_principal='aaa@BDX.SD.CMCC';load data infile 'hdp://xxx@192.168.1.1:8020:/tmp/aibdx/test' into table ssbm.test fields terminated by '\t';
Query OK, 3 rows affected (Elapsed: 00:00:00.31)
Task 1835031 finished, Loaded 3 records, Skipped 0 records