详细描述搭建hadoop集群的步骤
hadoop集群是由刀片服务器组成?
hadoop集群是由刀片服务器组成?
hadoop集群是指软件意义上的,刀片服务器是硬件,两者的关联是hadoop可以部署在刀片上面。
安装hadoop集群linux用什么版本好?
安装Hadoop集群用centos稳定
hadoop三种搭建方式?
Hadoop的安装部署的模式一共有三种,本地模式, 伪分布模式,全分布模式
1、独立模式(本地模式) standalone
默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用本地文件系统,而不是分布式文件系统。
2、伪分布模式 pseudodistributed
在一台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运行,模拟集群环境,并且是相互独立的Java进程。
在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。
3,完全分布模式 fulldistributed, Hadoop
完全分布模式的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。
一个Hadoop集群的机器数量最少要几个?
ZooKeeper是一个独立的组件,它可以和HDFS配合使用,但没有非得部署在一起的要求,只要网络通就可以。
另外,ZooKeeper建议最少安装在3个节点上,且数目为奇数。
项目中心是干嘛的?
项目中心 包含: 项目用户、项目角色、项目配置、作业交接
建设思路
项目用户: 首先一个平台普通用户,如果想要使用平台.那么他必须归属一个项目中,所以项目用户就是用来为项目添加用户的地方。使普通用户可以在某个项目下操作。
项目角色:项目角色是针对项目下建立的角色,例如:开发者、管理者等。每个角色拥有的权限是不同的,所以可以配置角色的菜单来控制权限。当然项目角色也是管理角色的地方。
项目配置:当在平台中创建了一个项目后,这个项目可能远程操作或使用的是不同的hadoop集群等等,那么这里就可以针对不同项目进行相应的环境配置。到达跨集群或同集群不同节点的效果。不同项目预警方式也可能不同,在项目配置中也可以实现。目前项目配置包含功能: 配置hadoop源、配置预警方式、配置作业运行队列、配置作业模板、配置作业常用参数 等
作业交接:这里是针对开发者作业进行的一个属主切换的功能。平台中每位开发者只能操作自己的作业,那么如果他调岗或离职,他的名下作业是需要备交接维护的。所以这里进行一个属主的切换作用。
操作介绍
项目用户:可为项目添加用户;可为用户配置角色
项目角色:可添加、编辑、删除角色;可为角色配置菜单;可为角色配置用户(待开发)
项目配置:可配置hadoop源信息(如: 底层元数据连接、HDFS master);可配置预警方式(目前支持企业微信机器人、钉钉机器人、邮件,以及机器人 邮件组合);可配置作业常用参数(如:hive跑批传入动态业务日期);可配置运行作业队列(即:一次最多可运行多少个作业);可配置作业模板(如: 需要遵循某种格式开发,即可做个模板)
作业交接: 可选择交接人、接收人,之后选择需要交接的作业。触发交接即可。
小结
其实项目中心可以理解为租户下的工作空间。每个人或者部门或者公司,都可以作为一个项目来管理。在项目下就是自己的活动空间。
在活动空间中,环境是不一样的,操作方式是不一样的,管理是不一样的。你希望你的空间有什么人,担任什么角色,可操作什么东西 等等。
所以项目中心就是一个,个性化空间配置的地方。当然里面可以设置项目中心管理者。他就是这个空间的老大。