GDCP认证学习笔记（二）GBase8a工具介绍

先上张概览图，GBase8a提供的工具分4类，分别是ETL数据加载、SQL开发、运维监控、集群同步类：

1.ETL数据加载/同步

1.1.批量数据加载，load sql形如：
 

LOAD DATA
INFILE 'ftp://10.10.120.230/pub/data/t.tbl' INTO TABLE test.t DATA_FORMAT 3 FIELDS TERMINATED BY '|';

对应的导出语句：

SELECT * FROM test.t 
INTO OUTFILE  'HDP://192.168.153.32:50070/export/gs_g.txt?user=gbase' OUTFILEMODE  BY HDFS; 

通过SQL命令的方式下发加载命令，支持自定义列分隔符、行结束符等，支持多种数据格式如txt，orc、json、 lzo，snappy等，支持多种数据源，如ftp、sftp、http、hadoop、kafka 等。数据库内置SQL命令，性能保障主要体现在两个方案：1、并行加载，客户端发送SQL给GCluster，然后下发给各个计算节点并行加载，因此可以达到非常高效的加载性能，官方宣称是30TB/h，有测试报告；2、副本同步，数据副本链式转发，加载只写主分片，副本内部自动同步，性能大幅提升。

1.2.交易数据同步，RTSync

GBase RTSync用于源端和目的端数据库之间的增量数据实时同步，包括如下流程： 
• 通过解析源数据库的日志，并将其转化为指定消息格式
• 将消息通过消息中间件发送到目的端，最终进行入库目前主要支持Oracle、和GBase8s数据库。

1.3.DBLink

源端支持Mysql、Teradata、GBase8c、GaussDB、oracle、oceanbase的oracle租户、达梦数据库的oracle模式等

1.4.流式加载：gbload server

gbload_server流式数据加载从功能角度分为两个：流式数据处理、数据加载 其中数据加载部分，是通过dispcli工具调用gccli执行load data infile命令，使用的是GBase 8a集群的数据加载功能。 流式数据处理的流程相对复杂，也是gbload_server工具的核心，具体过程为：
• 应用程序通过gcluster-load-api.jar接口发送insert values的数据给gbload_server服务；
• gbload_server将接收到的insert values流式数据落地为数据文件，并生成加载任务及任务队列；
• 根据加载任务队列执行dispcli进行数据加载；

1.5.Kafka集成GBase流式数据同步还提供了Kafka集成方案，支持kafka流式数据消费入库，可实现OLTP数据库到GBase 8a的实时同步
• 提供了数据从生产系统准实时同步到8a集群的方案；
• kafka consumer集成在gcluster中，SQL方式配置和管理consumer task，提供实时数据同步状态监控， 降低使用难度；
• 支持json、puredata格式，支持更新删除攒批优化，支持针对不同的consumer自定义配置参数优化；

2.SQL开发：支持黑屏工具gccli和白屏工具GBaseDataStudio。gccli命令行使用方式与mysql类似，GBaseDataStudio一款图形化开发工具，现在UI基本都标准化了，熟悉其他任何数据库开发的同学都可以快速上手，官网提供工具的下载。

3.运维监控：支持黑屏工具gcadmin和白屏工具GBaseGMonitor、GDOM。

gcadmin --help可以查询十分详细的命令行使用方法，GDOM为GBase 8a MPP数据库提供全生命周期的运维保障，为数据库提供可视化监控的同时，通过集群管理、主机管理、健康检查、告警等一系列功能，降低运维成本，提高运维效率，实时保障集群7*24正常运行。

4.集群同步：GVR（GBase_Visual_RsyncTool），可视化同步工具，一般用于实时性要求不高的集群数据同步场景，支持两个同构集群间的准实时的数据同步；Master-Slave架构，主集群数据可写，备份集群数据可查询；基于数据块的增量同步，针对于传统的基于逻辑日志的同步，大大提高了海量数据同步的效率；可实现数据备份，读写分离（批量加工和即席查询分开）， 满足数据中心高可用、异地部署的需求。

5.数据迁移除以上之外，GBase还提供了一款数据迁移工具：GBaseMigrationToolkit