GBase 8a
运维管理
文章

通过指定偏移量从kafka服务器取数据

发表于2024-02-22 14:33:2643次浏览1个评论

在遇到kafka consumer同步报错后,可通过错误信息中的偏移量或者process_offset定位错误数据

命令行登录到kafka集群任意节点

切换到kafka_2.11-2.1.1/bin目录下

按照如下命令修改参数后执行,该命令的作用为从标注的topic中从对应process_offset值(1000)开始,--max-messages 条(1000) json串到1.txt文件中

./kafka-console-consumer.sh --bootstrap-server  10.10.22.10:9092 --topic test1  --offset 1000  --max-messages 1000  --skip-message-on-error  --isolation-level read_committed   --partition 0 >1.txt

--bootstrap-server   填写kafka节点并加上9092端口

--topic   写报错的topic名字

--offset   写查询系统表得到的process_offset值

--max-messages  取10条至50000条任意值皆可

导出成功后,查看数据文件,并定位问题原因

 

 

评论

登录后才可以发表评论
崔哥发表于 2个月前
红满苔阶绿满枝,杜宇声声,杜宇声悲!交欢未久又分离,彩凤孤飞,彩凤孤栖。别后相思是几时,后会难知,后会难期。此情何以表相思,一首情词,一首情诗。雨打梨花深闭门,忘了青春,误了青春。赏心乐事共谁论,花下销魂,月下销魂。愁聚眉峰尽日颦,千点啼痕,万点啼痕。晓看天色暮看云,行也思君,坐也思君。