GBase 8a
运维管理
文章

gbase8a中sftp并行加载报错Initialization

发表于2024-06-27 15:48:29273次浏览1个评论

背景:

Gbase 8a MPP 集群环境中有较多的sftp加载任务运行,从同一台sftp服务器获取文件,属于并行加载多张表,多次出现以下失败的现象:

执行SQL:

load data infile ‘sftp://操作系统用户:密码@服务器IP地址/date/…txt’ ……..

SQL结果报错信息:

GBase general error: I/O operation on sftp://root:******@服务器IP地址/date…txt failed with error

 

排查日志信息:

排除其余日志在express.log中找到关于ssh关键字报错信息,找到源sshd服务器的配置文件,查看该配置文件参数连接最大值是否太小

MaxStartups默认配置表示: 10:30:100

sshd最多允许10个未认证连接同时存在;

在未认证连接数量超过10个以后,有30%概率拒绝新连接;

在未认证连接数量达到100个以后,拒绝所有新连接

 

解决:

将该参数改为:50:10:100集群加载可接受范围内即可,重启sshd服务

评论

登录后才可以发表评论
崔哥发表于 7个月前
主人有酒欢今夕,请奏鸣琴广陵客。月照城头乌半飞,霜凄万树风入衣。铜炉华烛烛增辉,初弹渌水后楚妃。一声已动物皆静,四座无言星欲稀。清淮奉使千馀里,敢告云山从此始。