GBase 8a
运维管理
文章
通过指定偏移量从kafka服务器取数据
发表于2024-02-22 14:33:2643次浏览1个评论
在遇到kafka consumer同步报错后,可通过错误信息中的偏移量或者process_offset定位错误数据
命令行登录到kafka集群任意节点
切换到kafka_2.11-2.1.1/bin目录下
按照如下命令修改参数后执行,该命令的作用为从标注的topic中从对应process_offset值(1000)开始,取--max-messages 条(1000) json串到1.txt文件中
./kafka-console-consumer.sh --bootstrap-server 10.10.22.10:9092 --topic test1 --offset 1000 --max-messages 1000 --skip-message-on-error --isolation-level read_committed --partition 0 >1.txt
--bootstrap-server 填写kafka节点并加上9092端口
--topic 写报错的topic名字
--offset 写查询系统表得到的process_offset值
--max-messages 取10条至50000条任意值皆可
导出成功后,查看数据文件,并定位问题原因
热门帖子
- 12025-12-01浏览数:182763
- 22023-05-09浏览数:25057
- 42023-09-25浏览数:18525
- 52020-05-11浏览数:17528