GBase 8a
其他
文章
通过kafka自带脚本获取指定时间的offset,GBase 8a从指定offset重新消费kafka数据
发表于2024-02-22 11:11:4795次浏览1个评论
项目上有时出现异常,需要GBase 8a消费指定时间后的kafka消息,可以通过kafka自带的脚本获取指定时间的offset(注:kafka版本需1.0.1以上),再修改gbase 8a kafka消费者参数实现。
通过kafka自带kafka-consumer-groups.sh脚本可以重置某一消费者组的offset,我们可以通过这一脚本获得指定时间的kafka消费点位
创建一个临时的消费者组消费几条消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test使用kafka-consumer-groups.sh重置消费组指定时间的offset
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --topic test --group test --reset-offsets --to-datetime 2024-02-22T00:00:00.000+08:00 --execute以上脚本执行完,会输出这个消费者组在2024-02-22T00:00:00.000产生的kafka各分区的offset,记录下来留着备用;
登录8a数据库,停止要修改的消费者,修改8a里的对应消费者的kafka记录表的partition_offset字段
stop kafka consumer myconsumer;
use gclusterdb;
update myconsumer_test_test set partition_offset='0:10,1:15,2:13' where scn=2;再启动消费者,实现了GBase 8a从指定offset重新消费kafka数据
start kafka consumer myconsumer
热门帖子
- 12025-12-01浏览数:182759
- 22023-05-09浏览数:25044
- 42023-09-25浏览数:18519
- 52020-05-11浏览数:17526