Kafka
- 2021-05-28 16:00:02
- Post By 高景洋
背景: 业务中出现kafka重复消费问题,导致同一条数据重复处理多次,并推给下游业务方,增加了下游业务方的数据处理压力。 产生重复消费的原因: 1、产生重复消费的原因,是kafka自身问题的可能性很少 2、通常原因为 正在运行中的程序,被kill掉,导致offset未提交成功。该情况下,程序下次拉起来时,会接着上次未提交成功的offset继续消费,导致部分数据重复消费。 3、我们的原因(坑): 消费代码如下 for msg in consumer: XXXXXXXxXXXXXXX XXXXXXXXXXXXXXX if data_source_id == JobDataSourceType.KafkaCollectResult.value and period_minutes < cycle_period_minutes: #
查看全文 | 浏览次数(2262)
热门文章
- 在Win 10 + Vs 2015 环境下调试程序,出现 “vshost32.exe 已停止工作”
- 开发常用插件
- 什么值得买爱情故事 第七章 一场及时雨,滋润了爱情土壤中的四颗萌芽
- mysql错误 IP address 'xxxx' could not be resolved: Name or service not known
- 安装python3报错 make: *** [profile-opt] Error 2
- flask程序线上报500错误,如何配置查看uwsgi日志
- SQLServer 错误: 15404
- sql 跨服务器联合查询
- sql 从发布服务器 添加非默认端口订阅服务器
- winserver 2012 安装 .net 3.5 报错