消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

(0)
上一篇 2023-05-12 02:25:31
下一篇 2023-05-12 02:26:42

相关推荐

  • 游客将野猪逼下崖 这到底是怎么回事?

      日前八名游客在西班牙欧洲峰国家公园远足,但不知因为什么原因,他们用棍子将一头野猪逼向悬崖边缘,期间野猪似乎没有危及到他们的生命安全,而其中一名游客甚至还在一旁将这个过程拍下。   游客将野猪逼下崖视频截图   目前对于8名游客将野猪逼下崖事件,西班牙国民警卫队正在调查这群旅行者的身份以及事发的具体地点。对此,西班牙动物权益及福利政党PACMA(即反动物虐…

    2023-05-21
    123
  • 海峡两岸青年就业创业基地和示范点授牌仪式暨经验交流会在宁波举

      中共中央台办、国务院台办已在北京等20个省市批准设立76个海峡两岸青年就业创业基地和示范点,累计超过1万名台湾青年在基地和示范点实习就业创业。(完) [责任编辑:张亚静]   中国台湾网9月12日宁波讯 (记者 张亚静)海峡两岸青年就业创业基地和示范点授牌仪式暨经验交流会12日在宁波举办。中共中央台办、国务院台办主任刘结一向23个新设立的海峡两岸青年就业…

    创业分享 2023-05-15
    132
  • 投资人转做创业者是一种怎样的体验?

      早期的创业公司,在管理上一定要简单可操作。更多地要靠创始人内在的感染力去驱动团队的每个人,这种感染力某种程度上也是创始人的格局。创始人选择的方向,与团队的分享精神都体现了格局。体现不一定是高薪或股份,有时就是一种态度,一种能被团队所感知的态度。所聚拢的一帮人不能是冲着薪资来,而是相信你而来。这些都会反映在产品的迭代速度、团队运营能力上,最终也就反映在融资…

    创业分享 2023-05-24
    99
  • 鼓励社会力量参与创新创业 好政策为长春市国家级双创基地建设提速

      全年力争双创市场主体突破85万户,技术合同交易额增长20%以上,各类重点创新创业公共服务平台达到250个……日前从长春市工业和信息化局了解到,今年长春市进一步加快实施创新驱动发展战略,提高双创主体活力,促进长春国家级创新创业基地加快发展。   为此,长春市将推进体制机制创新,深化行政审批改革和商事制度改革,全面推进企业简易注销登记改革,进一步提升企业开办…

    创业分享 2023-05-13
    115
  • 简融网:创业者该如何打动投资人?

    在各个领域竞争日渐激烈化的今天,无数的创新创业团队力争在一众竞争者中脱颖而出,成为投资人青睐的对象。那么,该怎样做才能打动投资人呢? 简融网提醒创业者:作为投资人,他的逻辑就是“买你,是为了卖你”。投资人投的不仅仅是一门生意,更是一个看得见财富的未来。因此,展现你的优势和财富的可见性、可预期性是很重要的。 在赢得投资的过程中,精准获取投资人信息对融资者是极为…

    创业分享 2023-05-18
    139

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息