消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

(0)
上一篇 2023-05-12 02:25:31
下一篇 2023-05-12 02:26:42

相关推荐

  • 锁定央视《创业英雄汇》,共睹巾帼创业创新风采

    锁定央视《创业英雄汇》,共睹巾帼创业创新风采 2020-02-07 17:06 来源:澎湃新闻·澎湃号·政务 0 本期看点: 然而它的真身却是 如今她用一针一线绣出了美好世界 热门推荐 直接帮扶了20多户 21:30 为了让花农 经过“三蒸九煮十八晒”之后 《创业英雄汇》 茉莉梦 梁巧恩 我致力于抗病毒天然免疫研究,人体是如何与病毒搏斗的,问吧! “这不就是…

    2023-05-12
    75
  • 京东云创新空间(常州)启动 助力江苏数字经济产业创新发展

    5月23日,江苏数字经济产业创新大会在常州维景国际大酒店举行。此次大会由江苏省经信委指导,常州市天宁区人民政府、京东云、中国产业互联网发展联盟携手举办,旨在推进以云计算、大数据、人工智能为基础的数字经济的创新发展。 常州市人大常委会副主任李小平,工业和信息化部信息化和软件服务业司信息服务业处调研员杨志锋,工信部软件与集成电路促进中心科技发展处处长、中国产业互…

    2023-05-17
    97
  • “中英一带一路青年创新创业技能大赛”落下帷幕

      来自北京财贸职业学院的大二学生张洪凯,目前在校内经营一家咖啡馆,每天有着200元的利润额,有着实战经验的他,通过分销商的决策将企业快速融入市场。张洪凯表示,“创业你首先就要做调研,包括市场调研、竞争调研,包括你自己的客户调研,想要快速地融入市场,可以选择不同的方式,你可以选择自己做职场营销,可以通过分销商的手段,来批发、来快速地融入市场,这是我们组的一个…

    2023-05-20
    107
  • 如果你有100万你会怎么创业?100万要怎么创业?

      100万这个数字说多是不多的,因为互联网创业公司往往开发个app的技术折腾成本都要超过这个数字。非创业公司的技术成本就更大了。但是要知道,在中关村创业大街,在北京的很多地下室里,还有更多的互联网创业屌丝,他们别说100万,他们很多已经穷得连饭都吃不起,房子都租不起了。但是他们还在做一个看似很大的事情。还有一些创业者,他们做的事情可能因为比较轻,自认为不用…

    创业分享 2023-05-23
    59
  • 佳能持续加持创业市场

    佳能持续加持创业市场 作者:滕斐 分享   【IT168 行业资讯】近日,佳能(中国)有限公司再度携手创业邦共同为创业者赋能,双方联合举办“创赢未来”——城市路演挑战赛,最终决赛在北京圆满落下帷幕。创业邦董事总经理、创业邦天使基金合伙人方平潮等莅临现场并担任比赛评委,佳能(中国)有限公司影像打印扫描产品部副总经理杉野雅博也出席本次活动并发表讲话。本届赛事最终…

    2023-05-12
    53

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信