Sqoop是什么工具?Sqoop工作流程是什么?

Sqoop是Apache旗下的一款开源工具,该项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,并在2013年,独立成为Apache的一个顶级开源项目。

Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据,可以使用Sqoop工具将数据从关系数据库管理系统导入(import)到Hadoop分布式文件系统中,或者将Hadoop中的数据转换导出(export)到关系数据库管理系统,其功能如下图所示。

Sqoop是什么工具?Sqoop工作流程是什么?

目前Sqoop主要分为Sqoop1和Sqoop2两个版本,其中,版本号为1.4.x属于Sqoop1,而版本号为1.99.x的属于Sqoop2。这两个版本开发时的定位方向不同,体系结构具有很大的差异,因此它们之间互不兼容。

Sqoop1功能结构简单,部署方便,提供命令行操作方式,主要适用于系统服务管理人员进行简单的数据迁移操作;Sqoop2功能完善、操作简便,同时支持多种访问模式(命令行操作、Web访问、Rest API),引入角色安全机制增加安全性等多种优点,但是结构复杂,配置部署更加繁琐。

Sqoop原理

Sooop是传统关系数据库服务器与Hadoop间进行数据同步的工具,其底层利用MapReduce并行计算模型以批处理方式加快了数据传输速度,并且具有较好的容错性功能,工作流程如下图所示。

Sqoop是什么工具?Sqoop工作流程是什么?

Sqoop工作流程

从上图中可以看出,通过客户端CLI(命令行界面)方式或Java API方式调用Sqoop工具,Sqoop可以将指令转换为对应的MapReduce作业(通常只涉及Map任务,每个Map任务从数据库中读取一片数据,这样多个Map任务实现并发地复制,可以快速地将整个数据复制到HDFS上),然后将关系数据库和Hadoop中的数据进行相互转换,从而完成数据的迁移。

可以说,Sqoop是关系数据库与Hadoop 之间的数据桥梁,这个桥梁的重要组件是Sgoop连接器,它用于实现与各种关系数据库的连接,从而实现数据的导人和导出操作。

Sqoop连接器能够支持大多数常用的关系数据库,如MySQL、Oracle、DB2和SQL Server等,同时它还有一个通用的JDBC连接器,用于连接支持JDBC协议的数据库。

1.导入原理

在导人数据之前,Sqoop使用JDBC检查导人的数据表,检索出表中的所有列以及列的SQL数据类型,并将这些SQL类型映射为Java数据类型,在转换后的MapReduce应用中使用这些对应的Java类型来保存字段的值,Sqoop的代码生成器使用这些信息来创建对应表的类,用于保存从表中抽取的记录。

2.导出原理

在导出数据之前,Sqoop会根据数据库连接字符串来选择一个导出方法,对于大部分系统来说,Sqoop会选择JDBC。Sqoop会根据目标表的定义生成一个Java类,这个生成的类能够从文本中解析出记录数据,并能够向表中插人类型合适的值,然后启动一个MapReduce作业,从HDFS中读取源数据文件,使用生成的类解析出记录,并且执行选定的导出方法。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:Sqoop是什么工具?Sqoop工作流程是什么? https://www.dachanpin.com/a/cyfx/10884.html

赞 (0)
SparkStreaming连接Kafka两种方式
上一篇 2023-05-12 02:28:46
MySQL常用图形化界面管理工具
下一篇 2023-05-12 02:29:50

相关推荐

  • 湖南:为干部干事创业“保驾护航”

      近日,省委办公厅印发《关于进一步激励广大干部新时代新担当新作为的实施意见》,这是我省深入贯彻中央精神,激励广大干部担当作为、干事创业的一项重要举措。   《实施意见》提出,要深化拓展领导班子政治建设考察工作,以政治建设考察推动干部增强政治担当;要构建科学完善的考核体系,绩效评估奖金可适当提高标准、拉开差距,对年度考核连续三年评为优秀等次的干部在晋职晋级时…

    创业分享 2023-05-13
  • 汕头牛肉火锅培训中心,有无经验皆可轻松创业

      到目前为止,新老学员遍布全国。深圳广品餐饮管理有限公司,立足于美食界,重视学员的需求,并将逐步形成自己专业高度,以提升学员的个人技能,健全学员的知识,实现学员的自我创业。广品美食秉承“为合作伙伴创造价值”的核心价值观,并以“诚实宽容创新服务”为企业精神,通过自主创新和真诚合作为餐饮创业及牛肉火锅面包行业创造价值。为合作伙伴创造价值广品餐饮管理有限公司以人…

    创业分享 2023-05-23
  • 怎么加盟全屋整装?皇者集成墙饰手把手带你创业

    皇者集成墙饰是一个非常有核心竞争力的集成墙饰品牌,很多加盟商们对于以下两个问题是非常关心的。怎么加盟皇者集成墙饰?皇者集成墙饰加盟条件是什么?总的来说,加盟皇者墙饰是有非常多的途径的,而且皇者墙饰对于加盟商的一些条件要求并不算高,是一个比较不错的投资项目。959 加盟皇者集成墙饰有哪些条件呢?总的来说,皇者集成墙饰品牌对于各个加盟商的一些条件要求并不算非常的…

    创业分享 2023-06-15
  • 米优购布局全国 开创母婴创业服务立体体系

     据《2016-2021年中国母婴市场前瞻与投资战略规划分析报告》显示,随着国民生活水平的提升和消费理念的升级,国内孕婴童市场规模逐年扩张。毋庸置疑,孕婴童行业在拉动国民经济生产总值中正发挥不可小觑的作用。孕婴童既是朝阳产业,因其在国内市场初具规模,又是红利产业,因其受益于近年婴儿出生率的递增。在孕婴童行业整体年增长率超20%的情况下,行业发展必将走上品牌化…

    创业分享 2023-06-05
  • 重庆举办2018渝创渝新“星创汇”创业文化节 中国劳动保障新闻网

      如创业星人物之一的项目——“摩伞”,项目内容是通过铺设专用雨伞租借设备,随时随地为用户提供便捷雨伞租借服务。目前该项目已经在上海、青岛、西安等地推广,欲借本次巡演对接会时机在我市寻找合伙人,落地项目。   在本次对接会上,创业星项目报名者依次上台,或展示自己的产品,或介绍自己的方案,或推广自己的理念。这些电商创业项目不仅需要资本的介入,还需要各地区投资者…

    创业分享 2023-05-16

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息