如果leader崩溃,Kafka怎样重新选举?

leader对于消息的写入以及读取是非常关键的,此时有两个疑问:

1. Kafka如何确定某个partition是leader、哪个partition是follower呢?

2. 某个leader崩溃了,如何快速确定另外一个leader呢?因为Kafka的吞吐量很高、延迟很低,所以选举leader必须非常快。

如果leader崩溃,Kafka会如何?

使用Kafka Eagle找到某个partition的leader,再找到leader所在的broker。在Linux中强制杀掉该Kafka的进程,然后观察leader的情况。

如果leader崩溃,Kafka怎样重新选举?

通过观察,我们发现,leader在崩溃后,Kafka又从其他的follower中快速选举出来了leader。

Controller介绍

l Kafka启动时,会在所有的broker中选择一个controller

l 前面leader和follower是针对partition,而controller是针对broker的

l 创建topic、或者添加分区、修改副本数量之类的管理任务都是由controller完成的

l Kafka分区leader的选举,也是由controller决定的

Controller的选举

l 在Kafka集群启动的时候,每个broker都会尝试去ZooKeeper上注册成为Controller(ZK临时节点)

l 但只有一个竞争成功,其他的broker会注册该节点的监视器

l 一点该临时节点状态发生变化,就可以进行相应的处理

l Controller也是高可用的,一旦某个broker崩溃,其他的broker会重新注册为Controller

找到当前Kafka集群的controller

1. 点击Kafka Tools的「Tools」菜单,找到「ZooKeeper Brower…」

2. 点击左侧树形结构的controller节点,就可以查看到哪个broker是controller了。

如果leader崩溃,Kafka怎样重新选举?

测试controller选举

通过kafka tools找到controller所在的broker对应的kafka进程,杀掉该进程,重新打开ZooKeeper brower,观察kafka是否能够选举出来新的Controller。

如果leader崩溃,Kafka怎样重新选举?

Controller选举partition leader

l 所有Partition的leader选举都由controller决定

l controller会将leader的改变直接通过RPC的方式通知需为此作出响应的Broker

l controller读取到当前分区的ISR,只要有一个Replica还幸存,就选择其中一个作为leader否则,则任意选这个一个Replica作为leader

l 如果该partition的所有Replica都已经宕机,则新的leader为-1

为什么不能通过ZK的方式来选举partition的leader?

l Kafka集群如果业务很多的情况下,会有很多的partition

l 假设某个broker宕机,就会出现很多的partiton都需要重新选举leader

l 如果使用zookeeper选举leader,会给zookeeper带来巨大的压力。所以,kafka中leader的选举不能使用ZK来实现。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:如果leader崩溃,Kafka怎样重新选举? https://www.dachanpin.com/a/cyfx/10866.html

赞 (0)
消费者分区分配策略:Stricky、Range、RoundRobin
上一篇 2023-05-12 02:25:57
怎样使用requests模块抓取网页?
下一篇 2023-05-12 02:27:09

相关推荐

  • 苏州鼎盛源小吃创业培训怎么样

    昆山校区 昆山市玉山镇世贸蝶湖湾商业街C3栋 请输入您的姓名 上一篇广州富特豹足球培训中心报名入口 下一篇成都童程童美少儿编程地址 苏州优路一级消防工程师培训费用 苏州优路作为全国建工类资格考试培训品牌,在2019年为广大学员聘请了国家级名师,推出了一级注册消防工程师系列精品辅导课程。该课程共开设有基础班、精讲班、冲刺班、密训班四个不同的班型,能够充分满足不…

    创业分享 2023-05-12
  • 成都市长罗强调研城市新经济建设,优秀创业企业咕咚被寄予厚望

    为了更好地践行“全国双创活动周”,深入实施创新驱动发展战略,推动新经济发展。2018年10月23日上午,成都市市委副书记、市长罗强率队对天府软件园优秀创业企业——咕咚进行了专门的调研考察,咕咚联合创始人司建铭陪同了本次调研行程。 罗强一行参观走访了咕咚办公区、咕咚线上赛事奖牌墙、咕咚同城运动团照片墙等区域,并对CODOON IN的智能运动产品展厅进行了重点考…

    创业分享 2023-05-14
  • 同济大学王倩 蔡三发:我国创新创业教育发展历程及未来思考

    一、创新创业教育的起源和内涵 [3] 王革,刘乔斐.高等学校一种新的教育理念——《中国大学创新创业教育发展报告》述评[J].中国高教研究, 2009(9):56-57. 附表 2 代表性院校创新创业教育模式 [5]黎青青,王珍珍.创新创业教育综述:内涵、模式、问题与解决路径[J].创新与创业教育,2019,10(01):14-18. 四、我国创新创业教育未来…

    创业分享 2023-05-13
  • 床垫使用年限与优质睡眠的联系

    美国权威的家具类媒体《今日家具》近日对美国的床垫市场进行了一项调查,这项调查主题是关于床垫使用年限与睡眠质量之间的关系,调查也显示床垫的使用时间越短,其睡眠满意度越高。 ??事实上,调查符合很多人的预期,那就是使用周期短的床垫产品其满意度得分最高,而使用周期最长的床垫产品得分垫底。 ??不过,调查得出的数据依然非常重要,因为这些数据能够对很多消费者形成提醒:…

    创业分享 2023-05-20
  • 想靠创业获得财务自由?你也配?

    如有任何需求想要联系土法创业或本文作者,可通过新浪微博 @首席变态官戈弋 或者同微信号 hentaigeyi 进行联系。 ·扎克伯格:相信你的使命和永不放弃非常重要。 然而即使是这样来来回回改了十多年,医院仍然在采购新的系统,因为 his 这种大而全的系统并不能很好的满足医院的需求,很多功能基本上都不会去用,不是用不到,而是太难用了,所以需要专门开发新的子系…

    创业分享 2023-06-04

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息