Hive的工作原理是什么?Hive和Hadoop执行任务的流程

Hive是基于Hadoop的一个数据仓库工具,主要用来对数据进行抽取、转换、加载操作。HiveQL可以将结构化的数据文件映射为一张数据表,允许熟悉SQL的用户查询数据,也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和 reducer无法完成的复杂的分析工作,相对于Java代码编写的MapReduce来说,Hive的优势更加明显。Hive利用Hadoop的HDFS存储数据,利用Hadoop的MapReduce执行查询。

Hive的工作原理是什么?Hive和Hadoop执行任务的流程

Hive和Hadoop协作执行任务的工作原理

(1) 用户通过用户接口向Driver提交executeQuery。

(2) Driver向Compiler发送获取计划的请求。

(3) Compiler根据用户提交的executeQuery去MetaStore获取需要的元数据信息。

(4) MetaStore向Compiler发送元数据信息。

(5) Compiler得到元数据信息,并向Driver发送计划。

(6) Driver 向EXECUTION ENGINE提交executePlan。

(7) 用户接口向Driver发起获取结果集(fetchResults)的请求。

(8)Driver向EXECUTION ENGINE发起获取结果集的请求。

(9)EXECUTION ENGINE向Driver发送结果集,Driver获取到结果集后返回用户接口。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:Hive的工作原理是什么?Hive和Hadoop执行任务的流程 https://www.dachanpin.com/a/cyfx/10942.html

赞 (0)
TiDB中有哪些组件?【TiDB架构图解】
上一篇 2023-05-12 02:35:27
Python中怎样选择正确的可视化图表?
下一篇 2023-05-12 02:36:29

相关推荐

  • 沪指再上3100点,创业板指刷新33个月高点

    原标题:沪指再上3100点,创业板指刷新33个月高点 半导体板块井喷。 新京报讯(记者 张思源)1月13日,A股指数震荡向上,沪指再次冲破3100点。ETC、半导体、国产芯片板块涨幅夺目,板块内近10只个股涨停;网红经济概念股在经历上周五的震荡后重演涨停热潮;券商板块尾盘发力,多只个股涨幅明显。 截至收盘,上证指数涨0.75%,报收3115.57点,创下近8…

    创业分享 2023-05-12
  • 广东药科大学召开2019年毕业生就业创业工作会议

    最后,郭姣作了讲话。她指出,学校2018年的就业创业工作成效显著,成绩来之不易,大家付出艰辛的劳动。郭姣代表学校感谢各部门、各学院为此做出的贡献,并对如何做好2019年毕业生就业创业工作提出了指导意见。她要求各单位要充分认识就业创业工作的重要性,把专业建设与招生和就业工作紧密结合起来,努力为社会培养合格人才。既要实现充分就业,也要提高就业质量。要把就业创业工…

    创业分享 2023-05-13
  • 云锋股权投资更名为云锋创业投资

    扫描二维码   3月2日,资本邦讯,启信宝数据显示,2月27日,上海云锋股权投资中心(有限合伙)更名为上海云锋创业投资中心(有限合伙),经营范围新增“创业投资”,或将更聚焦于创业企业。      上海云锋股权投资中心(有限合伙)背后股东包括马化腾、马云、史玉柱等,腾讯旗下深圳市腾讯商业管理有限公司持股20.3%,巨人投…

    2023-05-11
  • 王石与7位行业领袖对话:创业最艰苦的是精神孤独

    1.王石忆创业:珍惜命运给的机会 当时给他的感触很大,“我也不知道未来会怎么,第二年春天,我一个人来到了深圳”。王石就这样主动“下海”了。 1月9日,万科集团董事会名誉主席王石在深圳保利剧院开启了由他发起的“回归未来·感恩时代”跨年演讲。本次活动邀请郭台铭、马蔚华、俞敏洪、姚明、周佳等7位行业领袖进行了一场跨越40年的对话,尝试从一个个出身平凡的普通人中感受…

    2023-05-13
  • 工具推荐:不同阶段产品经理要做哪些文档?

     我们都知道,工具使用得好,职场烦恼可以少很多,对于产品经理这个吃香岗位来说,职场中要使用好哪些工具呢?   首先我们先了解一下产品经理在日常工作中需要产出哪些内容:   从上图我们可以看出产品经理日常工作中五个里程碑分别是:启动-规划-执行-跟进-上线,下面我们来说下每个阶段产品经理需要做的产出物。   1.启动阶段   从上图可知在启动阶段,我们需要产出…

    2023-05-12

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息