GBase 8a与Oracle的数据交换方案

GBase与Oracle的数据交换

1.1 Oracle到GBase

Oracle到GBase的数据流转，一般使用南大通用自行研发的三款工具进行数据同步，分别为Orato8a、Rtsync、MTK，三款工具各有各的应用场景；除此外也可使用第三方ETL工具，如kettle、informatic等。

1.1.1 Orato8a导入导出

Orato8a是南大通用研发的一款专为Oracle到GBase 8a的数据迁移工具，基本流程是先将Oracle中的数据导出成GBase 8a能识别的落地数据文件，然后通过调取GBase的load命令进行数据加载，完成数据的迁移。

一般使用场景为：

1）以脚本的形式，完成全量数据的迁移；命令如下：

./orato8a --user=’连着串’ --owner=’表的所有者’ --table_name="表名" --file=落地文件 --field="分割符" --format=3 

2）通过SQL以时间字段过滤的方式，迁移增量数据，实现T+1的增量同步方式；命令如下：

./orato8a --user=’连着串’ --query="select col from tbname1 where etl_date > ’2020-10-01’ " --file=落地文件 --field="分隔符" --format=3

1.1.2 RTSYNC增量

Rtsync是南大通用研发的一款增量数据同步工具，它本身也是集成了orato8a功能，所以它既支持Oracle到GBase 8a的增量数据同步，也支持全量数据同步。增量同步主要流程为：Rtsync通过挖掘Oracle的日志信息，并将其转化为json或者PUREDATA格式发送给KAFKA消息队列，GBase 8a以自身集成的consumer组件去消费kafka中的数据；具体流程图如下：

1.1.3 GoldenGate增量

    GBase 8a 支持使用GoldenGate 将oracle的增量同步到GBase 8a MPP Cluster,功能与Rtsync类似，GoldenGate将解析日志后的增量数据写入到Kafka，GBase 8a 通过Kafka进行消费入库。

1.1.4 MTK全量

MTK（GBaseMigrationToolkit）是南大通用研发的一款迁移表结构及数据的工具。主要用于迁移表结构及维度表等小数据量表的数据迁移。源端支持Oracle、DB2、达梦、SQL SERVER、GBase 8s、MySQL、teradata、postgre、ACCESS等主流数据库。

3.1.5 第三方ETL工具

异构数据库间的数据流转都是可以使用第三方ETL工具进行数据清洗和流转，如kettle、informatic等；这种方式一般都是基于JDBC和ODBC接口来对数据进行拉取，性能上远不及导入导出的速度。

1.2    GBase到Oracle

GBase到Oracle的数据流转，一般存在三种方式，具体如下：

l  导入导出

GBase 8a到Oracle的数据流转，可以采用数据导入导出的方式实现。GBase 8a端可以通过SQL的形式导出分析统计后的结果，落地成数据文件，然后Oracle通过数据泵的方式加载到表中。

l  Dblink

GBase 8a可以通过dblink工具，使用insert..... select.....的方式将数据推向远端Oracle。

l  第三方ETL工具

可通过kettle、informatic等第三方ETL工具，实现数据的清洗与流转。