GBase新闻
专注于数据库软件产品和服务,致力于成为用户最信赖的数据库产品供应商
南大通用GBase 8a数据库数据加载功能及调优(三)
发布时间:2025-02-21
本文将分三章(第三章),对GBase 8a数据库集群的加载功能模块从原理和架构两方面进行说明,提供加载性能参数调优方案和kafka数据源的加载导出方案,为用户了解和使用GBase 8a加载功能提供参考。
kafka数据集成
GBase 8a集群支持使用kafka集群作为数据源进行数据加载和导出,kafka数据源加载任务的相关信息可以在gclusterdb系统库中表topicname_dbname_tbname里查看。
加载kafka集群中的文本数据SQL如下:
导出文本数据到kafka集群SQL如下:
Kafka broker高可用
GBase 8a支持配置Kafka的broker高可用,支持一套带kerberos认证功能的kafka集群作为加载数据源:
1、在gcluster配置文件中添加参数:
gcluster_kafka_brokers 192.168.146.20:9092,192.168.146.21:9092’
2、重启gcluster服务使其起效:
gcluster_services all start
Kafka流式加载
GBase 8a通过脚本实现Kafka流式加载,如: