消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

赞 (0)
什么是TiDB数据库?数据管理技术的发展
上一篇 2023-05-12 02:25:31
如果leader崩溃,Kafka怎样重新选举?
下一篇 2023-05-12 02:26:42

相关推荐

  • 江西高校创业交流会 点亮大学生创业梦

    4、对于已经授权本站独家使用提供给本站资料的版权所有人的文章、图片等资料,如需转载使用,需取得本网站和版权所有人的同意。 ※联系方式:中国江西网 电话:0791-86849032 2、本网站内凡注明“来源:中国江西网”的所有文字、图片和音视频稿件均属本网站原创内容,版权均属“中国江西网”所有,任何媒体、网站或个人未经本网站协 议授权不得转载、链接、转贴或以其…

    创业分享 2023-05-27
  • 全国创新创业优秀女性走进北大

    全国妇联书记处书记杨柳、北京大学党委副书记叶静漪出席活动并讲话。杨柳充分肯定了创新创业巾帼行动开展以来取得的突出成效,她希望广大创业女性和女大学生站在历史新方位,奋发有为,引领妇女在创新创业的时代洪流中彰显新风采、展现新作为。 正值“2018全国双创活动周”期间,近百名全国创新创业优秀女性13日晚走进北京大学,向北大学子讲述创新创业好故事,传播创新创业新经验…

    2023-05-15
  • 美国家长是如何教孩子创业的

    美国家长是如何教孩子创业的 作者:殷朝晖 李瑞君 孩子还小,主要任务是学习,离创业还远着呢,再说,创业教育是大学的事,与家庭无关,这代表了很大一部分家长的想法。现在做家长的这代人几乎没有接受过创业教育,更不要说从小接受家庭里的创业教育了。从整体来看,我国创业教育起步较晚,存在着两个方面的误区。一方面,在创业教育实施的主体上,许多人把创业教育狭隘地理解为“学校…

    创业分享 2023-05-31
  • 长沙望城区首届全民创业大赛落幕

    据望城区委组织部副部长、区人力资源和社会保障局陈宏武局长介绍,本次活动的主旨就是为响应党中央、国务院“大众创业、万众创新”的号召,持续推进“以创新引领创业,以创业带动就业”,彰显望城区浓厚创业氛围,激发大众创新创业活力,助推大众实现创业梦想。 自今年4月启动以来,长沙市望城区首届全民创业大赛聚集和整合各种创新创业资源,建立服务创业的持续机制,促进创业项目与创…

    创业分享 2023-05-22
  • 2023中国程序员薪酬报告出炉,你拖后腿了吗?

    程序员薪资高已是公认的事实,但是具体高到什么程度呢?近期,全球人力服务公司 Michael Page Internatioal 就发布了《2023 中国大陆薪酬报告》,揭示了中国程序员的薪酬情况。 该报告中一共调研了国内 7 个行业以及 6 大城市不同职级以及不同岗位的薪资水平,以下是播妞在报告中挑选的和技术、职场等相关的内容,一起来看看: 中国大陆的人才市…

    2023-05-12

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息