GBase 8a
适配迁移
文章
GBase 8a集群通过sftp和ftp加载单个小文件非常慢的问题,关闭DNS反向解析
GBase社区管理员发表于2020-07-27 16:47:1056次浏览0个评论
GBase 8a数据库集群,通过load方式从数据源sftp/ftp/hadoop等加载入库,如果数据源本身配置了反向DNS解析,则会导致数据源无法及时返回导致及时加载很小的文件,也会耗时很长。
1、现象
通过ftp和sftp加载非常少的数据,比如1万行,甚至1行,也需要几十秒。
2、原因
默认vsftpd和sshd都有dns反向解析功能,而系统如果没有配置对应的dns解析,则要耗费时间等待解析超时。
3、解决方案
关闭反向解析,功能。
对于vsftpd,需要编辑其配置文件
/etc/vsftpd.conf
添加如下参数:
reverse_lookup_enable=NO

保存退出后,重启vsftpd服务
service vsftpd restart
对于sftp,需要修改
/etc/ssh/sshd_conf
将如下参数去掉注释,参数值改成No
# UseDNS yes
改成
UseDNS no

然后重启sshd服务。 service sshd restart
4、效果
更改前


从上图可以看到,本地file加载性能是很快的,所以肯定是协议本身问题。 修改后效果


性能有极大提升。
评论已关闭
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25051
- 42023-09-25浏览数:18521
- 52020-05-11浏览数:17526