GBase新闻

专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商

南大通用GBase 8a数据库数据加载功能及调优(三)

发布时间:2025-02-21

本文将分三章(第三章),对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明,提供加载性能参数调优方案和kafka数据源的加载导出方案,为用户了解和使用GBase 8a加载功能提供参考。

kafka数据集成

GBase 8a集群支持使用kafka集群作为数据源进行数据加载和导出,kafka数据源加载任务的相关信息可以在gclusterdb系统库中表topicname_dbname_tbname里查看。

加载kafka集群中的文本数据SQL如下:

导出文本数据到kafka集群SQL如下:

Kafka broker高可用

GBase 8a支持配置Kafka的broker高可用,支持一套带kerberos认证功能的kafka集群作为加载数据源:

1、在gcluster配置文件中添加参数:

gcluster_kafka_brokers 192.168.146.20:9092,192.168.146.21:9092’

2、重启gcluster服务使其起效:

gcluster_services all start

Kafka流式加载

GBase 8a通过脚本实现Kafka流式加载,如: