Gbase8a kafka_consumer消费产生重复数据

问题描述

源端为oracle，通过ogg将数据写入kafka，GBase8a实时消费数据。数据入库后，发现每天都会产生大量重复数据

分析

查看Gbase8a express日志，发现源端有大量delete和update语句，但是在日志中发现只有insert，由此猜测可能是ogg配置问题

原因

查看ogg配置文件，该tpoic设置了insertdeletes和insertupdates这两个属性，该参数在进行delete和update时候不会删除原数据，导致重复

测试过程

测试过程

1.     修改一条记录

成功，目标表增加2条记录。

2.     删除一条记录

成功，目标表增加1条记录

解决办法

 重新配置ogg，将这两个参数去掉，测试正常

查看express日志，发现有正常的delete和update日志，查看目标表，数据正常