消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

(0)
什么是TiDB数据库?数据管理技术的发展
上一篇 2023-05-12 02:25:31
如果leader崩溃,Kafka怎样重新选举?
下一篇 2023-05-12 02:26:42

相关推荐

  • 什么是创业者和投资人关系的正确打开方式?

    小提示:您要为您发表的言论后果负责,请各位遵守法纪注意语言文明   “创业是非常辛苦的事,如果和投资人的价值观不一样,沟通不来,是非常痛苦的。如果你拥有非常理解你,对社会有共同判断的投资人,是非常幸福的事情。我很开心我的投资人团队,都是我最喜欢的投资人构成的,所以我觉得我是幸运的创业者”蔡崇达说。   在吴海燕和蔡崇达看来,良好的资创关系,是在寻找到那个你们…

    创业分享 2023-05-27
  • 华亭县推进就业创业工作

    版权与免责声明 1、凡注有“每日甘肃网讯”或电头为“每日甘肃网讯[XXX报]”的稿件,均为每日甘肃网及甘肃日报报业集团版权稿件,未经许可不得转载或镜像;授权转载必须注明来源为“每日甘肃网”,并保留“每日甘肃网”电头。 2、凡注明为其它来源的信息,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。 (责任编辑:admin) 2…

    创业分享 2023-06-01
  • 创新创业持续发热 实现大学价值回归

      学生得到成长,大学收获进步,在创新创业中,大学的价值实现了回归。 编辑:   人才培养、科学研究和社会服务是大学的三大功能。如果说人才培养、科学研究是手段,那么它们最终要走向社会服务。但在时代变迁中,人才培养、科学研究与社会服务中间产生了“隔阂”,创新创业作为“桥梁”便应运而生。   这些“干货”既有胡金焱副校长眼中的“创新创业精神”,也有学生走向社会后…

    创业分享 2023-05-21
  • 吴小糖沙拉煎饼怎么样 创业可以得到不错的收益

      煎饼是一种十分受欢迎的美食,在众多美食中,它有着非常高的受欢迎程度,因此很多投资商就看好这个行业中的商机。是很多人想要知道的问题。吴小糖沙拉煎饼作为行业中的佼佼者品牌,投资其中创业可以得到很好的发展。   吴小糖沙拉煎饼是行业内的佼佼者品牌,这个品牌在市场上受到很多人的喜爱,投资其中创业可以让人们轻松经营。小吃产品色香味俱全且营养价值高,成为吃货们日常饮…

    创业分享 2023-05-12
  • 硅谷大鳄来宁传授“创业十步法则”

    本报讯(记者 查金忠) 创业者往往对自己拥有的技术或商业模式非常自信,他们设计了非常“酷”的商业方案,但走到市场上却处处碰壁。在美国硅谷著名创业家约翰·奇肖姆看来,这些创业者可能从一起步就错了,创业除自身的优势和激情外,更要学会发现尚未被满足的用户需求。 昨天下午,南京软件园、南京垠坤投资实业有限公司等单位在南京高新区联合举办了一场“连线硅谷——2016南京…

    创业分享 2023-05-31

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息