消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

(0)
上一篇 2023-05-12 02:25:31
下一篇 2023-05-12 02:26:42

相关推荐

  • 知名学者论道山西战略新兴产业创新创业发展

      据了解,“北京大学创业训练营太原创新创业特训班(一期)”已于9月25日开营,邀请北京大学优秀企业家校友、北京大学优秀创业导师为太原的创业者授课和深入辅导。今后将开设数期面向太原地区优秀的中小微创业企业、自主创新类的科技型初创企业的创新创业特训班。北京大学创业训练营还将组织国内和国际范围的创业大赛,为太原的高新技术产业发展招才引智,组织国内优秀的投资人及投…

    创业分享 2023-05-15
    117
  • 海归博士创业瞄准智慧养老

    朋友父亲走失 激发他的创业思考 海归博士创业瞄准智慧养老 来源:辽沈晚报 2017/11/18 09:02:09   创业·人物   这一年多来,陶帅和他的创业团队干劲十足、心情畅快。“好消息一个接一个。在刚刚结束的第六届中国创新创业大赛上,我们获得了成长组优秀企业称号。随着利好政策的相继出台,国家进一步放开养老市场,越来越重视智慧养老领域,相关信息技术不断…

    创业分享 2023-05-21
    94
  • 传统车企争相牵手无人驾驶创业公司

    nuTonomy是从麻省理工学院分离出来的一家企业,该公司希望借助软件帮助无人驾驶汽车根据周围的环境规划行车动作。该公司最近从几家风险投资基金获得了360万美元融资。他们一直都在新加坡开发无人驾驶汽车试点项目。 通用汽车尚未证实10亿美元的收购价格。但只要与这一数字接近,都将是对Cruise Automation的大幅溢价。这是一家只有40人的公司,而且尚未…

    创业分享 2023-06-03
    92
  • 擦亮军人底色 创业路上她始终保持“军人本色”

    经过五年的发展,公司由最初的1家合作医院发展到了11家,由最初的5人发展到了300多人,仅母婴顾问在线客服就有25名,先后为超过10万个家庭提供了免费的孕期及新生儿保育解答服务。2017年,葆婴堂成为中国中医药适宜技术常务理事单位。 当工人领到工资时,工人哭了,刘传华也哭了。有的工人拉着刘传华的手说:“老板,你借钱给俺们发工资,真是不容易,让人信得过,以后你…

    2023-05-13
    278
  • 成功创业经验分享,硅藻泥创业必看

    二、选择顺应趋势,有发展潜力的品牌 天然居作为一个有持续发展能力的品牌绝不会跟在别人背后亦步亦趋。天然居走差异化道路与别的品牌形成市场区隔,让竞争对手无从跟随,最终拥有更强的生命力,更高的市场价值! 硅藻泥行业虽然发展了将近十年,但行业为消费者熟知的知名品牌才能称之为渠道品牌。天然居硅藻泥被评为硅藻泥行业十大品牌,品牌实力强势。为加盟商的支持力度会更大,会更…

    创业分享 2023-06-16
    142

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息