消费者分区分配策略:Stricky、Range、RoundRobin

Range范围分配策略是Kafka默认的分配策略,它可以确保每个消费者消费的分区数量是均衡的。注意:Rangle范围分配策略是针对每个Topic的。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RangeAssignor。

算法公式

n = 分区数量 / 消费者数量

m = 分区数量 % 消费者数量

前m个消费者消费n+1个

剩余消费者消费n个
消费者分区分配策略:Stricky、Range、RoundRobin
消费者分区分配策略:Stricky、Range、RoundRobin

RoundRobin轮询策略

RoundRobinAssignor轮询策略是将消费组内所有消费者以及消费者所订阅的所有topic的partition按照字典序排序(topic和分区的hashcode进行排序),然后通过轮询方式逐个将分区以此分配给每个消费者。

配置

配置消费者的

partition.assignment.strategy为

org.apache.kafka.clients.consumer.RoundRobinAssignor。
消费者分区分配策略:Stricky、Range、RoundRobin

Stricky粘性分配策略

从Kafka 0.11.x开始,引入此类分配策略。主要目的:

1. 分区分配尽可能均匀

2. 在发生rebalance的时候,分区的分配尽可能与上一次分配保持相同

没有发生rebalance时,Striky粘性分配策略和RoundRobin分配策略类似。
消费者分区分配策略:Stricky、Range、RoundRobin

上面如果consumer2崩溃了,此时需要进行rebalance。如果是Range分配和轮询分配都会重新进行分配,例如:

消费者分区分配策略:Stricky、Range、RoundRobin

通过上图,我们发现,consumer0和consumer1原来消费的分区大多发生了改变。接下来我们再来看下粘性分配策略。

消费者分区分配策略:Stricky、Range、RoundRobin

我们发现,Striky粘性分配策略,保留rebalance之前的分配结果。这样,只是将原先consumer2负责的两个分区再均匀分配给consumer0、consumer1。这样可以明显减少系统资源的浪费,例如:之前consumer0、consumer1之前正在消费某几个分区,但由于rebalance发生,导致consumer0、consumer1需要重新消费之前正在处理的分区,导致不必要的系统开销。(例如:某个事务正在进行就必须要取消了)

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:消费者分区分配策略:Stricky、Range、RoundRobin https://www.dachanpin.com/a/cyfx/10858.html

(0)
什么是TiDB数据库?数据管理技术的发展
上一篇 2023-05-12 02:25:31
如果leader崩溃,Kafka怎样重新选举?
下一篇 2023-05-12 02:26:42

相关推荐

  • 冰城77个农民创业示范基地成为样板

      省农委日前发布《黑龙江省农民创业示范基地名单》,全省共评定农民创业示范基地324个,其中哈尔滨有77个,数量居全省首位,齐齐哈尔市以57个位列第二。   为深入推进农民创业工作,打造一批农民创业样板工程,省农委在全省范围内组织开展了农民创业示范基地评定工作。通过采取自下而上、逐级推荐、专家评审、媒体公示等评定程序,全省共评定农民创业示范基地324个。哈尔…

    创业分享 2023-05-26
    141
  • 创业需要投资,生活需要冒险,小盈牛教你如何理财

    时间自由。举个例子来讲,自己创业开了家照相馆,平时自己可以做些网络宣传或地推,店里有客人时,可能会忙上一阵,但是在闲暇的时间里,可以自由支配。也不用被迫加班到凌晨,第二天上班怕起不来,定了好几个闹钟。时间完全可以按照自己的时间支配。 当你被家里的人禁锢着未来 (一)大学生创业能力不足 可以在学校参加创业大赛,如果进入到全国创业大赛, 能力呗过度消费,现在是创…

    创业分享 2023-05-13
    207
  • 宜都出台大学生就业创业政策大礼包

    2017年启动“我选湖北·就在宜都”实习实训活动来,共吸引各类高校2849名大学生来宜都实习,发放实习实训补贴51.15万元,新增高校毕业生来宜就业2140人。 人才是强市之基、竞争之本、转型之要。近日,宜都市委、市政府为了吸引更多的全国乃至海外优秀大学生来宜都就业创业,出台了《关于实施“我选湖北·就在宜都”计划大力促进大学生在宜都就业创业的实施意见》。该意…

    创业分享 2023-05-19
    141
  • 突泉县小额贷款“接地气”带动创业促就业

    小额担保贷款作为一项创业就业扶持政策,一直深受自主创业、自谋职业者的青睐。近日,记者从突泉县就业局获悉,为扶持创业,带动就业,去年,该县累计发放小额担保贷款353万元,拉动就业1412人。 突泉县抓住“十项工程”中的创新创业工程契机,进一步落实小额贷款惠民政策,促进群众创业就业,并按照“谁主管、谁负责”的原则,加强部门协调配合,明确职责分工,及时解决工程推进…

    创业分享 2023-05-25
    170
  • 创新创业 蓝杉同行—-蓝杉产融共享空间第三期路演盛大开启

    3月30日,蓝杉产融共享空间路演第三期——大消费升级之餐饮行业专项路演在蓝杉大厦三楼的路演大厅隆重举行。政府各级领导对本场活动也给予了高度重视及认可,莅临现场亲自指导项目的领导包括:长沙市商务人才中心主任胡梦欣、长沙市中小企业服务中心主任周武文、岳麓区经信局副局长何四清。  此次路演云集了六家餐饮行业的后起之秀,他们有的在餐饮界的细分领域已经做得小…

    创业分享 2023-05-19
    133

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息