Kafka

背景： 业务中出现kafka重复消费问题，导致同一条数据重复处理多次，并推给下游业务方，增加了下游业务方的数据处理压力。 产生重复消费的原因： 1、产生重复消费的原因，是kafka自身问题的可能性很少 2、通常原因为 正在运行中的程序，被kill掉，导致offset未提交成功。该情况下，程序下次拉起来时，会接着上次未提交成功的offset继续消费，导致部分数据重复消费。 3、我们的原因（坑）： 消费代码如下 for msg in consumer: XXXXXXXxXXXXXXX XXXXXXXXXXXXXXX if data_source_id == JobDataSourceType.KafkaCollectResult.value and period_minutes < cycle_period_minutes: #