GBase 8a对接Kafka的consumer推荐配置

GBase RTSync通过对不同数据库的日志解析，将需要同步的信息上传至kafka消息队列后，需要GBase 8a对其进行消费完成数据同步。

GBase 8a Consumer 是 GBase8a mpp 自带的消费组件，用来同步消费 Kafka 数据到 8a MPP Cluster 数据库中。

备注：目前由其它源库同步到 GBase8a MPP 时，采用的都是：GBase RTSync（管理、读） +GBase  8a Consumer（写）的方式进行环境部署。

配置步骤如下：

步骤一：修改 8a mpp 配置文件

修改 8a mpp 所有节点的/opt/gcluster/config/gbase_8a_gcluster.cnf

gcluster_kafka_consumer_enable=1
gcluster_lock_level=10
_gbase_transaction_disable=1
_gcluster_insert_cache_buffer_flag=1
gcluster_assign_kafka_topic_period=20
gcluster_kafka_max_message_size=1000000
gcluster_kafka_batch_commit_dml_count=100000
gcluster_kafka_local_queue_size=210000
gcluster_kafka_user_allowed_max_latency=20000
gcluster_kafka_consume_batch=100
gcluster_kafka_parallel_commit=5
gcluster_kafka_primarykey_can_be_null=1
gcluster_kafka_data_buf_size=20000
gcluster_kafka_message_format_type=PUREDATA（与 RTSync 配置的数据格式保持一致）

修改 8a mpp 所有节点的/opt/gnode/config/gbase_8a_gbase.cnf

gbase_tx_log_mode=ONLY_SPECIFY_USE
_gbase_transaction_disable=1
gbase_buffer_insert=1024M （有大事务时需要调大，根据 8a 的服务器内存情况）
gbase_tx_log_flush_time=5

备注：修改完以上两个配置文件，则需要 service gcware restart 重新启动集群服务才生效

步骤二：创建 8a consumer

通过 gccli 命令 登录 8a mpp 命令行 执行以下 8a consumer 相关语句

创建语句：

create kafka consumer test transaction topic testtp brokers'192.168.5.11:9092,192.168.5.12:9092';

说明：

1、创建 consumer 时 topic 需要与 RTSync 的

config_kafka_【queue_name】MQ.properties 配置文件中的 topic.name 一致。

2、brokers 就是配置部署的 Kafka 节点信息

步骤三：启动 8a consumer

启动语句：

#start kafka consumer test

步骤三：监控及查询 consumer 同步状态

查看 consumer task 属性：

show kafka consumer test;

从系统表中查询数据同步状态

gbase> select * from information_schema.kafka_consumer_status;
+---------+---------------+---------+------------+------------+------------+----------------+---------------+-----------+
| TOPIC   |          IP    | STATUS  | MIN_OFFSET | MAX_OFFSET |CUR_OFFSET | PROCESS_OFFSET | COMMIT_OFFSET | EXCEPTION |
+---------+---------------+---------+------------+------------+------------+----------------+---------------+-----------+
| k1topic | 192.168.6.161 | STARTED |           0| 0          | 0          | 0              | 0             |           |
+---------+---------------+---------+------------+------------+------------+----------------+---------------+-----------+