GBase 8a解析不了来自kafka的JSON数据。

发表于2024-01-02 14:12:18234次浏览5个评论

【GBase 8a版本】 9.5.2

【实验目的】在GBase端创建kafka loader consumer，消费kafka中的JSON数据到Gbase 8a数据表中。

【实验进程】kafka端topic ogg_jxy中存在json数据，其格式如图一所示；GBase 8a端创建loader consumer，且其状态为start，状态如图二所示；GBase 8a端创建对应的表jxy。

【问题】表jxy中同步不到kafka中的数据，（在kafka端创建一个新的topic，其数据格式为普通的文本格式，且只包含表中的数据信息，在这种情况下可以在GBase 8a中同步成功），因此怀疑是json数据解析的问题？请问有什么解决方式吗？

登录后才可以发表评论

GBase社区管理员发表于 2年前

GBase 8a kafka consumer要求json格式的数据需要包含主键，如"primary_key":{"A","B"}，或者不带主键的普通文本

GBase用户12022发表于 2年前

@社区管理员：请问是否能够提供GBase 8a kafka consumer要求的完整json格式参考。

GBase用户12022发表于 2年前

@社区管理员：我将OGG到kafka的输出json格式修改为图示的样子，Gbase中还是无法实现数据同步。

GBase用户28017发表于 5个月前

解决没。

崔哥发表于 1个月前

山光忽西落，池月渐东上。散发乘夕凉，开轩卧闲敞。荷风送香气，竹露滴清响。欲取鸣琴弹，恨无知音赏。感此怀故人，中宵劳梦想。