消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

赞 (0)
什么是TiDB数据库?数据管理技术的发展
上一篇 2023-05-12 02:25:31
如果leader崩溃,Kafka怎样重新选举?
下一篇 2023-05-12 02:26:42

相关推荐

  • 咱家味道黄焖鸡米饭加盟,大学生创业加盟好选择

    小王曾是一名普通的大学毕业生,毕业季的时候和很多人一样忙碌只为找到一份称心的工作。然而,直到毕业,工作的事情仍旧没有定下来,这使得小王的心情很是低落,对于工作也不愿提及,面对这样的情况父母看在眼里,急在心里,却又帮不上忙,也因小王的工作而发愁。 虽然一直没有找到合适的工作,但是小王并没有放弃,毕业后仍旧在努力找着。一次工作的面试未果过后,小王在回家的路上看到…

    创业分享 2023-06-01
  • 2019年创业新风口,红桃兔红茶品牌焕发茶饮市场新商机

      本网01月03日讯 奶茶店具有投资小、规模小、管理方便、入门容易、无文化要求、毛利润高、相对轻松干净、逼格高等等一系列特点,深受年轻人创业的喜爱。在众多创业者的推崇下,国内的奶茶店如雨后春笋一般在大街小巷发展起来。在这个全民创业的年代,至少一半以上的年轻人创业时有想过奶茶行业,真正付诸行动的奶茶创业者也是年轻人居多。   那么这些年轻创业者都是选择哪个奶…

    创业分享 2023-05-13
  • 洛阳市将获国家6亿元支持 推进小微企业创业创新基地城市示范工作

      2016年至2018年,我市将获国家6亿元支持,推进小微企业创业创新基地城市示范工作。记者昨日从市财政局获悉,中央财政第二批2.1亿元奖补资金日前到位,目前共计到位奖补资金4.8亿元。   在3年示范期内,我市将建立普惠奖补支持体系,主要包括:涉企税收和收费减免;设立科技创新券、科技成果获得奖、技术成果转让奖、高新技术企业认定(备案)奖、研发平台奖、科技…

    创业分享 2023-05-26
  • 邮储银行环江县支行携果农召开创业致富产品推介会

    广西新闻网环江9月30日讯(通讯员 蒙春华)近日,邮储银行环江县支行携环江县家文果业召开以“柑桔飘香、邮储相伴”为主题的专业大户贷款产品推介会,获得参会人员的一致好评。 该支行在推荐会上向果农专业大户就特色水果种植适合的贷款产品进行了详细讲解,对农户提出的贷款利率、还款方式等问题进行解答,让客户全面了解邮储银行信贷产品。此次推介会到会人数65人,收…

    创业分享 2023-05-28
  • 大盘走势连续被“钱眼”说中 创业板回补概率大

      节前最后一天,正如我们所担心的,市场为回避贸易摩擦不确定风险,午后抛压加大。最终创业板跌幅近2%,日线顶背离完全形成,不过当天上证主板表现最好,下面要关注小长假期间中美贸易摩擦的消息面变化。总体看,短线调整在所难免。   节后走势>>   创业板日线顶背离成立,大概率回补“缺口”   本周只有三个交易日,我们上周提示,周初要防日线背离高点随时…

    2023-05-19

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息