消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

赞 (0)
什么是TiDB数据库?数据管理技术的发展
上一篇 2023-05-12 02:25:31
如果leader崩溃,Kafka怎样重新选举?
下一篇 2023-05-12 02:26:42

相关推荐

  • 工作三年后,我开始后悔毕业时的选择

    临近毕业季,就业还是考研?不少同学犯了难。 看到 1200 万 毕业生,实在吓人。再看考研人数破纪录达到 474万 ,通过招生名额计算,将有近400万人注定失败,瞬间令人窒息。 有没有更稳妥的上岸方式? 古希腊哲学家说:人不可能两次踏进同一条河流。同样,人不可能同时拥有青春和对青春的感悟。但我们可以从前辈的经历中寻找答案。 今天,我们以3年为节点,看下工作3…

    2023-05-12
  • “创赢青春”双创故事分享会在成都举行(图)

    中国网3月12日讯 “大众创业,万众创新”,以创新促进创业,以创业推动创新,成都成为名副其实的“创业之城、圆梦之都”!3月10日,由中共成都市委宣传部主办,成都市广播电视台、电子科技大学、电子科技大学通信学院研究生会承办的“创赢青春”双创故事分享会——百姓故事会·青年双创故事创作大赛系列活动在电子科技大学清水河校区举行,科大学子们积极参与。与此同时,本次活动…

    2023-05-25
  • 如何创业 创业者没有合伙人该怎么创业?

        ======推荐阅读===== 低成本如何高创业 创业好项目有什么? 创业好项目 发展中生意好前景的行业!   =====全文阅读======   至诚财经网()3月16日讯   目前很多创业者想要做一番自己的事业,但是没有理想的合作伙伴成为创业者的阻力。在今天,个体创业者想要打败团体创业者非常困难,因为有明确分工的前提下有助于业务的开展推…

    创业分享 2023-05-24
  • 每人 2000!石家庄市对困难毕业生发放求职补贴;创业之星寻访活

    10 月 16 日具体天气预报 15 日夜间 -17 日,冷空气又将上线,大风、降温将陆续登场。 建明南路(华清街 – 煤机街)长约 1100 米、宽约 40 米,小街小巷整治提升专项行动中,对该路段沿街 12 个小区 25 栋楼体外立面、23 家门店牌匾进行了改造升级,并补种绿植树木 191 棵,打造出了居民休闲生活的慢街道。 身高和体重是反映…

    创业分享 2023-05-10
  • 米优购布局全国 开创母婴创业服务立体体系

     据《2016-2021年中国母婴市场前瞻与投资战略规划分析报告》显示,随着国民生活水平的提升和消费理念的升级,国内孕婴童市场规模逐年扩张。毋庸置疑,孕婴童行业在拉动国民经济生产总值中正发挥不可小觑的作用。孕婴童既是朝阳产业,因其在国内市场初具规模,又是红利产业,因其受益于近年婴儿出生率的递增。在孕婴童行业整体年增长率超20%的情况下,行业发展必将走上品牌化…

    创业分享 2023-05-23

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息