• 145560

    文章

  • 858

    评论

  • 13

    友链

  • 最近新加了换肤功能,大家多来逛逛吧~~~~
  • 喜欢这个网站的朋友可以加一下QQ群,我们一起交流技术。

kafka监听出现的问题,解决和剖析


问题如下:

  1. kafka为什么监听不到数据
  2. kafka为什么会有重复数据发送
  3. kafka数据重复如何解决
  4. 为什么kafka会出现俩个消费端都可以消费问题
  5. kafka监听配置文件

 

一. 解决问题一(kafka监听不到数据)

  首先kafka监听不得到数据,检查如下

  1. 检查配置文件是否正确(可能会出现改了监听地址,监听Topic,监听的地址的数量问题)
  2. 检查接收数据的正确性(比如原生的代码,可能是用byte序列化接收的数据,而你接收使用String。也是配置文件序列化问题,还有与发送者商量问题)
  3. 检查kafka版本问题(一般的版本其实是没什么问题的,只有个别版本会出现监听不到问题)
  4. 没有加
    @Component 犯了最不应该出差错的问题

  如果出现监听不到数据的问题,那么就试试更改方法一二,如果不可以在去试试方法三,之前出现这个问题也是查过 一般查到都会说  “低版本的服务器接收不到高版本的生产者发送的消息”,但是净由测试使用 用1.0.5RELEASE 和 2.6.3反复测试,并没有任何的问题。

如果按照版本一致,那么根本就不现实,因为可能不同的项目,springboot版本不一致的话,可能有的springboot版本低,那么你还得要求自己维护项目版本升级?如果出现第四种情况就无话可说了。

 

二. 解决问题二(kafka为什么会有重复数据发送)

  重复数据的发送问题如下

  1. 可能在发送者的那里的事务问题。mysql存储事务发生异常导致回滚操作,但是kafka消息却是已经发送到了服务器中。此事肯定会出现重复问题
  2. 生产者设置时间问题,生产发送设置的时间内,消息没完成发送,生产者以为消费者挂掉,便重新发送一个,导致重复
  3. offset问题,当项目重启,offset走到某一个位置已扔到kafka服务器中,但是项目被重启.那么offset会是在原本重启的那一个点的地方再次发送一次,这是kafka设计的问题,防止出现丢失数据问题

 

三. 解决问题三(kafka数据重复如何解决)

  目前我是使用的Redis进行的排重法,用的是Redis中的set,保证里面不存在重复,保证Redis里面不会存入太多的脏数据。并定期清理

  粘贴一下我的排重(Redis排重法)

      //kafka prefix   String cache = "kafka_cache";   //kafka suffix   Calendar c = Calendar.getInstance();   SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");   //0点,目前是为了设置为这一天的固定时间。这个完全可以去写个工具类自己弄,为了看的更清楚,麻烦了一点的写入   SimpleDateFormat sdf2 = new SimpleDateFormat("yyyy-MM-dd 00:00:00");   String gtimeStart = sdf2.format(c.getTime());   long time = sdf.parse(gtimeStart.........

695856371Web网页设计师②群 | 喜欢本站的朋友可以收藏本站,或者加入我们大家一起来交流技术!

0条评论

Loading...


发表评论

电子邮件地址不会被公开。 必填项已用*标注

自定义皮肤 主体内容背景
打开支付宝扫码付款购买视频教程
遇到问题联系客服QQ:419400980
注册梁钟霖个人博客