SparkStreaming连接Kafka两种方式

Spark Streaming支持从多种数据源获取数据,其中就包括 Kafka,要想从 数据源获取数据,首先要建立两者之间的连接,本节来介绍两种连接Kafka的方式。

1.Receiver based Approach:

(1)KafkaUtils.createDstream基于接收器方式,消费Kafka数据已淘汰企业中不再使用;

(2)Receiver作为常驻的Task运行在Executor等待数据,但是一个Receiver效率低,需要开启多个,再手动合并数据(union),再进行处理,很麻烦;

(3)Receiver那台机器挂了,可能会丢失数据,所以需要开启WAL(预写日志)保证数据安全,那么效率又会降低;

(4)Receiver方式是通过zookeeper来连接kafka队列,调用Kafka高阶API,offset存储在zookeeper,由Receiver维护

(5)Spark在消费的时候为了保证数据不丢也会在Checkpoint中存一份offset,可能会出现数据不一致;

2.· Direct Approach (No Receivers):

(1)

KafkaUtils.createDirectStream直连方式,Streaming中每批次的每个job直接调用Simple Consumer API获取对应Topic数据,此种方式使用最多,面试时被问的最多;

(2)Direct方式是直接连接kafka分区来获取数据,从每个分区直接读取数据大大提高并行能力

(3)Direct方式调用Kafka低阶API(底层APl),offset自己存储和维护,默认由Spark维护在checkpoint中,消除了与zk不一致的情况

(4)当然也可以自己手动维护,把offset存在MySQL/Redis中;

SparkStreaming连接Kafka两种方式
两种API

Spark Streaming与Kafka集成,有两套API,原因在于Kafka Consumer API有两套,文档:

http://spatkapathe.org/docs/2.4.5/streaming-kafka-integration.html

http://spark apache.org/docs/latest/streaming-kafka-integration.html

Kafka0.8.x版本-早已淘汰

底层使用老的KafkaAPI:Old Kafika Consumer API

支持Receiver(已淘达)和Direct模式:

Kafka 0.10.x版本-开发中使用

底层使用新的KafkaAPI:New Kafka Consumer API

只支持Direct模式

两个版本API
SparkStreaming连接Kafka两种方式

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:SparkStreaming连接Kafka两种方式 https://www.dachanpin.com/a/cyfx/10880.html

赞 (0)
上一篇 2023-05-12 02:28:10
Sqoop是什么工具?Sqoop工作流程是什么?
下一篇 2023-05-12 02:29:13

相关推荐

  • “如何开始创业”成为一门特色课程

    3月18日,香港中文大学(深圳)举行2016年传媒春茗活动。在行政办公楼“道远楼”的六楼观景平台上,校长徐扬生和学校管理层全部人员身着唐装现身,回答记者提问。 在当天的春茗会上,一杯杯印着“会饮”二字的香浓咖啡成了大家争先恐后抢着尝鲜的饮品。“会饮咖啡”,名副其实的学生创业项目,一个专注于“给港中大(深圳)学生提供最棒的咖啡体验”的咖啡屋,开业不到一个月已经…

    创业分享 2023-05-20
  • win10系统开机密码怎么设置为取消

    有一些用户记性不好,容易忘记密码,于很多使用电脑过程中一般都会将开机密码取消掉,那么win10系统开机密码怎么设置为取消?下面小编介绍win10系统开机密码的取消设置方法。 1、点击开始菜单,选择弹出菜单的运行,如下图所示。 win10怎么取消开机密码界面1 2、输入:netplwiz,点击确定,如下图所示。 win10怎么取消开机密码界面2#f# 3、将用…

    创业分享 2023-05-22
  • 实现美食创业梦从强邦餐饮小吃技术培训学校开始

    对于希望通过美食生意来改善生活成就一番事业的众多平凡的美食梦想家来说,没有创业经验,更没有美食专业培训经验,也更不用谈美食专业技能,这一切的缺乏使得一切美食梦都成了空谈,如果一定要找一个梦想的孵化场,你的美食梦可以从强邦餐饮小吃技术培训学校项目中开始。 众多民众问强邦餐饮小吃技术培训学校都有哪些项目,这里将对强邦餐饮小吃技术培训学校项目给出独家揭秘。 强邦餐…

    2023-05-21
  • 4次创业,经历融资不顺,这次他从自身需求出发,估值过10美元

    据悉,迄今为止,51信用卡的单月营收超过1亿元,预计到年底,年度总营收将超过10个亿。 以管理信用卡为基础,衍生其他生意 他发现,几乎每分钟都有用户导入账单,一张卡可能有三四个月的账单,而每个账单上又有很多消费记录。孙海涛便开始思考驱动用户产生此种行为的背后因素,并得出一个趋势:信贷消费意识正在不断觉醒,他们愿意花更多钱享受更好的服务,也愿意花未来的钱去享受…

    创业分享 2023-05-16
  • 天合国富支持延安青年,打造创业乐土

    近日,“宝塔杯”延安市第四届青年创新创业大赛启动仪式暨首场海选在延安市北航贝塔双创街区隆重举行。部门领导,创业导师、创业青年等150余位嘉宾出席启动仪式。天合国富看到延安青年的创新和活力,深入打造“全生命周期”人才创业创新服务体系,愿意为创业者打造一片创业的乐土。 延安是红色文化名城,至今在“延安精神”的引领下,充满了活力的气息。在这片激情澎湃的沃土上,无数…

    创业分享 2023-05-12

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息