GBase 8a
适配迁移
文章

Kettle-PostgreSql迁移至Gbase8a

发表于2024-12-17 18:02:53252次浏览1个评论

一、环境信息

名称
CPUIntel(R) Core(TM) i5-1035G1 CPU @ 1.00GHz
操作系统CentOS Linux release 7.9.2009 (Core)
内存5G
逻辑核数6
Kettle版本pdi-ce-9.5.0.1-261
Gbase8a版本8.6.2-R43.34.27468a27
Pg版本PostgreSQL 16.3

二、简述

免费开源的基于java的企业级ETL工具,功能强大简单易用,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据数据源;支持ETL数据管道加入机器学习算法。

三、迁移步骤

1、JAR包导入

PG的JAR包是工具自带的。

[root@czg2 lib]# pwd
/opt/pkg/Kettle/data-integration/lib
[root@czg2 lib]# ll postgresql-42.5.1.jar 
-rwxr-xr-x 1 root root 1046770 8月   2 2023 postgresql-42.5.1.jar

将Gbase8a JAR包gbase-connector-java-8.3.81.53-build55.5.5-bin.jar放到data-integration/lib目录下

[root@czg2 lib]# ll gbase-connector-java-8.3.81.53-build55.5.5-bin.jar
-rwxr-xr-x 1 root root 812407 12月 18 2019 gbase-connector-java-8.3.81.53-build55.5.5-bin.jar
[root@czg2 lib]# pwd
/opt/pkg/Kettle/data-integration/lib

2、Kettle图形界面启动

[root@czg2 data-integration]# sh spoon.sh
#######################################################################
WARNING:  no libwebkitgtk-1.0 detected, some features will be unavailable
    Consider installing the package with apt-get or yum.
    e.g. 'sudo apt-get install libwebkitgtk-1.0-0'
#######################################################################

3、新建转换

点主对象树-》点转换-》点新建-》保存当前转换-》名字随便起

 

4、新建数据库连接

(1)Gbase8a

连接池建议也配置一下,有助于效率提升,都配置完记得测试一下连接,看是否成功。

记得设置共享,不然推出就需要重新配置了。

(2)PostgreSQL

连接池建议也配置一下,有助于效率提升,都配置完记得测试一下连接,看是否成功。

 

记得设置共享,不然推出就需要重新配置了。

 

5、源端设置

点击核心对象-》输入-》表输入

 

点击表输入-》设置按钮-》编辑步骤

6、目的端设置

点击核心对象-》输出-》表输出

 

点击表输出-》设置按钮-》编辑步骤
多说一句裁剪表不要选,会出现不能锁表的错误,问题导致原因大家可以参考之前写的博客:《南大通用数据库-Gbase-8a-学习-42-定位与释放锁》的最后有这个问题的答案。

 

配置完成

 

点设置按钮右边的按钮拖到目的端即可完成连接。

7、迁移数据

点击转换-》启动。记得让其他不需要的转换失效。

迁移完成啦,不得不说Kettle做的是很不错的,用户体验感很好。

本人CSDN此篇博客地址:https://blog.csdn.net/qq_45111959/article/details/144442657?sharetype=blogdetail&sharerId=144442657&sharerefer=PC&sharesource=qq_45111959&spm=1011.2480.3001.8118

评论

登录后才可以发表评论
崔哥发表于 8个月前
秋晓上莲峰,高蹑倚天青壁。谁与放翁为伴,有天坛轻策。铿然忽变赤龙飞,雷雨四山黑。谈笑做成丰岁,笑禅龛楖栗。