GBase 8a
其他
文章

通过kafka自带脚本获取指定时间的offset,GBase 8a从指定offset重新消费kafka数据

发表于2024-02-22 11:11:4795次浏览1个评论

项目上有时出现异常,需要GBase 8a消费指定时间后的kafka消息,可以通过kafka自带的脚本获取指定时间的offset(注:kafka版本需1.0.1以上),再修改gbase 8a kafka消费者参数实现。

通过kafka自带kafka-consumer-groups.sh脚本可以重置某一消费者组的offset,我们可以通过这一脚本获得指定时间的kafka消费点位

创建一个临时的消费者组消费几条消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test

使用kafka-consumer-groups.sh重置消费组指定时间的offset

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --topic test --group test --reset-offsets --to-datetime 2024-02-22T00:00:00.000+08:00 --execute

以上脚本执行完,会输出这个消费者组在2024-02-22T00:00:00.000产生的kafka各分区的offset,记录下来留着备用;

登录8a数据库,停止要修改的消费者,修改8a里的对应消费者的kafka记录表的partition_offset字段

stop kafka consumer myconsumer;
use gclusterdb;
update myconsumer_test_test set partition_offset='0:10,1:15,2:13' where scn=2;

再启动消费者,实现了GBase 8a从指定offset重新消费kafka数据

start kafka consumer myconsumer

评论

登录后才可以发表评论
崔哥发表于 5个月前
乔木生云气。访中兴、英雄陈迹,暗追前事。战舰东风慳借便,梦断神州故里。旋小筑、吴宫闲地。华表月明归夜鹤,叹当时、花竹今如此。枝上露,溅清泪。遨头小簇行春队。步苍苔、寻幽别坞,问梅开未。重唱梅边新度曲,催发寒梢冻蕊。此心与、东君同意。后不如今今非昔,两无言、相对沧浪水。怀此恨,寄残醉。