GBase 8a
适配迁移
文章

gbload_Server工具

发表于2024-08-30 16:18:21144次浏览3个评论

gbload_server是一款自研的流式数据加载工具,通过JDBC接口入库 。

gbload_server工具分为两部分:

一是用于接收insert values数据的API

二是gbload_server服务。 API部署在应用服务器端,通过jdbc的将insert values数据发往gbload_server服务; gbload_server服务部署在加载服务器上,将接收到的数据落地为文本文件,然后调用dispcli工具执行load data命令通过ftp协议加载入库。 

 

gbload_server流式数据加载从功能角度分为两个:

流式数据处理

数据加载    

其中数据加载部分,是通过dispcli工具调用gccli执行load data infile命令,使用的是GBase 8a集群的数据加载功能。   

流式数据处理的流程相对复杂,也是gbload_server工具的核心,具体过程为: 应用程序通过gcluster-load-api.jar接口发送insert values的数据给gbload_server服务; gbload_server将接收到的insert values流式数据落地为数据文件,并生成加载任务及任务队列; 根据加载任务队列执行dispcli进行数据加载; 

 

 

评论

登录后才可以发表评论
GBase用户21244发表于 10个月前
目前使用改方式加载数据时,能正常连接到gbload_server服务,但是在插入数据是报错什么分隔符问题,这个是什么的导致的?
GBase用户21244发表于 10个月前
跟了一下代码是send一个什么(RAD)命令返回值不对。
崔哥发表于 5个月前
百花头上开,冰雪寒中见。霜月定相知,先识春风面。主人情意深,不管江妃怨。折我最繁枝,还许冰壶荐。