ClouderaManager指的是什么?有哪些功能?

Cloudera Manager是用于管理CDH群集的端到端应用程序。Cloudera Manager通过对CDH集群的每个部分提供细粒度的可视性和控制来设置企业部署的标准,使运营商能够提高性能,提高服务质量,提高合规性并降低管理成本。

使用Cloudera Manager,可以轻松部署和集中操作完整的CDH堆栈和其他托管服务(Hadoop、Spark、Kudu、Impala)。其特点:应用程序的安装过程自动化,将部署时间从几周缩短到几分钟; 并提供运行主机和服务的集群范围的实时监控视图; 提供单个中央控制台,以在整个群集中实施配置更改; 并集成了全套的报告和诊断工具,可帮助您优化性能和利用率。

Cloudera Manager的核心是Cloudera Manager Server。提供了统一的UI和API方便用户和集群上的CDH以及其它服务进行交互,并实施监控和诊断等。

CM Server还负责安装配置CDH和其相关的服务软件,启动停止服务,维护集群中各个节点服务器以及上面运行的进程。

ClouderaManager指的是什么?有哪些功能?

Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机

Management Service:执行各种监控、报警和报告功能的一组角色的服务。

Database:存储配置和监控信息

Cloudera Repository:可供Cloudera Manager分配的软件的存储库

Client:用于与服务器进行交互的接口

Admin Console:管理员控制台

API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序

ClouderaManager功能

信号检测

默认情况下,Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是,为了减少用户延迟,在状态变化时会提高频率。

状态管理

模型状态捕获什么进程应在何处运行以及具有什么配置 。

运行时状态是哪些进程正在何处运行以及正在执行哪些命令(例如:重新平衡 HDFS 或执行备份/灾难恢复计划或集群升级、停止) 。

​ 当您更新配置(例如Hue Server Web 端口)时,您即更新了模型状态。但是,如果 Hue 在更新时正在运行,则它仍将使用旧端口。当出现这种不匹配情况时,角色会标记为具有“过时的配置”。要重新同步,您需重启角色(这会触发重新生成配置和重启进程)。

​ 特殊情况如果要加入一些cloudera manager控制台没有的属性时候,都在高级配置选项里面嵌入。

服务器和客户端配置

​ 例如使用HDFS,

/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop目录下仅包含与 HDFS 客户端相关的配置。

​ 而 HDFS 角色实例(例如:NameNode 和 DataNode)会从

/var/run/cloudera-scm-agent/process/812-hdfs-NAMENODE、820-hdfs-DATANODE 下的每个进程专用目录获取它们的配置,真正产生作用的是这个。

主机管理

​ Cloudera Manager 作为群集中的托管主机身份:JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机 。

​ Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作。

​ Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量,以使您可以监控主机的运行状况和性能。

进程管理

​ 在 Cloudera Manager 管理的群集中,只能通过 Cloudera Manager 启动或停止服务。Cloudera Manager 使用一种名为 supervisord 的开源进程管理工具,它会重定向日志文件,通知进程失败,为合适用户设置调用进程的有效用户 ID 等等。Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败,Cloudera Manager 还会用不良状态标记该实例。

​ 特别需要注意的是,停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集;所有正在运行的实例都将保持运行。

​ Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时,Agent 会在

/var/run/cloudera-scm-agent 中为它创建一个目录,并解压缩配置 。

​ Agent 受到监控,属于 Cloudera Manager 的主机监控的一部分:如果 Agent 停止检测信号,主机将被标记为运行状况不良。

身份验证

​ Hadoop中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务 。

​ 通常,企业中的身份验证通过单个分布式系统(例如:轻型目录访问协议 (LDAP) 目录)进行管理,LDAP 身份验证包含由各种存储系统提供支持的简单用户名/密码服务,ranger+ldap+freeipa。

​ Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或 AD 中管理和存储凭据的选项。

授权

CDH 当前提供以下形式的访问控制:

适用于目录和文件的传统 POSIX 样式的权限 。

适用于 HDFS 的扩展的访问控制列表 (ACL) 。

Apache HBase使用ACL来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN)。

使用 Apache Sentry 基于角色进行访问控制。

Cloudera Management Service

功能:可作为一组角色实施各种管理功能

Activity Monitor:收集关于MapReduce服务运行的活动的信息。默认情况下不添加此角色。

Host Monitor:收集有关主机的运行状况和指标信息。

Service Monitor:从YARN和Impala服务中收集关于服务和活动信息的健康和度量信息。

Event Server:聚合组件的事件并将其用于警报和搜索。

Alert Publisher :为特定类型的事件生成和提供警报。

Reports Manager:生成图表报告,按用户,用户组和目录提供磁盘利用率的历史视图,按用户和YARN池处理活动,以及HBase表和命名空间。Cloudera Express中未添加此角色。

免责声明:文章内容来自互联网,本站仅作为分享,不对其真实性负责,如有侵权等情况,请与本站联系删除。
转载请注明出处:ClouderaManager指的是什么?有哪些功能? https://www.dachanpin.com/a/cyfx/10875.html

赞 (0)
怎样使用requests模块抓取网页?
上一篇 2023-05-12 02:27:09
下一篇 2023-05-12 02:28:10

相关推荐

  • 上海:向青年企业家创业者发放30亿优惠利率贷款

      来源:解放日报   原标题:放款真快!速度中的温度被大赞   记者 刘雪妍   面对新冠疫情给企业带来资金压力,上海团市委、市青联携手上海农商银行,面向全市广大青年企业家、青年创业者,推出30亿元优惠利率贷款,支持企业抗击疫情复工复产。截至3月1日,收到有效企业申请1051户,取得联系1009户,初步确定具体融资意向737户,其中申请融资金额在1000万…

    创业分享 2023-05-11
  • 迪拜国际莫兰的创业奇迹,抓住机遇,改变命运!

      随着国家对“互联网+”政策的推进与大力支持,“互联网+”在各行各业得以快速发展。截至2016年6月,中国网民规模达7.1亿,手机网民规 模达6.56亿,成为全球第一大互联网市场。目前,微信月活跃用户数量达到了8.06亿,微信正在成为更多人手机中不可缺少的社交应用。由此可见,微信与微信公众号正在迎来新一轮的发展机遇。   在微商界,有这样的一位美丽妈妈,她…

    2023-05-26
  • 华星创业(300025)

    时间 交易提示 提示详情 2016-07-21管理层及相关人士增持股票鲍航,增持股份:2000股 2016-06-17召开股东大会提示召开2016年第四次临时股东大会。 2016-06-03分红派息提示除权除息日及红利发放日及新增可流通股上市交易日,10转10派0.52元(含税)派… 2016-06-02股权登记股权登记日,10转10派0.52元…

    创业分享 2023-05-30
  • 柳枝行动成在湘创业者首选双创平台

      “在湖南创业,找柳枝,投资湖南早期项目,找柳枝。”随着企业梯队的成长以及创新要素的汇集,柳枝行动已经成为在湘创业者心目中的首选双创平台。(记者 王茜)   在股权融资方面,柳枝行动通过自主投资、联合投资和推荐投资等方式,累计帮助62个项目获得4.4亿元融资。   针对申报柳枝项目,无论最终成功与否,柳枝行动以“柳枝行动众创空间”和“线上创新创业服务平台”…

    创业分享 2023-05-12
  • 杨浩涌复盘赶集创业经验:不要关注竞争对手?现实可不一样

      在这个竞争里面,技术这张图是非常重要的,我说的这个“势能”=势如彍弩,是创业者要考虑的事情,创业者要把竞争考虑在内,建立自己的势能。   从100多人涨到2500人的时候,我们的核心管理团队没有一个人管过超过2500人的队伍,我们当地的销售卖广告是亏钱的,这样的话公司很难持久,所以2012年年底亏了很多钱,人员降到了900人,这是非常惨痛的经历。   创…

    创业分享 2023-05-31

发表回复

登录后才能评论

联系我们

在线咨询: QQ交谈

邮件:362039258@qq.com

工作时间:周一至周五,9:30-16:30,节假日休息