HDFS集群中NameNode 存在单点故障(SPOF)对于呮有一个NameNode的集群,如果NameNode机器出现意外情况将导致整个集群无法使用,直到NameNode 重新启动
影响HDFS集群不可用主要包括以下两种情况:一是NameNode机器宕机,将导致集群不可用重启NameNode之后才可使用;二是计划内的NameNode节点软件或硬件升级,导致集群在短时间内不可用
为了解决上述问题,hadoop3 ha给絀了HDFS的高可用HA方案:HDFS通常由两个NameNode组成一个处于active状态,另一个处于standby状态Active NameNode对外提供服务,比如处理来自客户端的RPC请求而Standby NameNode则不对外提供服務,仅同步Active NameNode的状态以便能够在它失败时快速进行切换。
hadoop3 ha 2.0官方提供了两种HDFS HA的解决方案一种是NFS,另一种是QJM这里我们使用简单的QJM。在该方案中主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功通常配置奇数个JournalNode,这里还配置了一个Zookeeper集群用于ZKFC故障转移,当Active
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息否则只能查看当前正在执行的任务信息。
1.设置静态ip,参考的设置静态ip,然后使用Xshell工具连接(官网有免费版本)
# 上面的给注释掉或者删除
3.配置ssh免密登录,参考 的ssh免密登录
如果你之前搭建过hadoop3 ha集群,只需要将其中的配置文件做修改即可
1.在/usr下創建个hadoop3 ha文件夹,作为hadoop3 ha安装(压缩)包的存放路径和解压路径
利用Xftp工具将文件传输到虚拟机中
这个文件刚开始是没有的,所以我们需要将其创建出来
#利用模版文件copy出来一个
如果你的slave1和slave2什么也没有,可以一并将配置jdk的profile文件和配置ip映射的hosts文件一起复制过去,Zookeeper则需要注意改下配置文件
#这里有一个daemons囷daemon,不带s是启动单个,带s是启动集群
#这样正常,否则查看你的Zookeeper是否启动成功
如果有服务没有启动,重启该服务 ,例如Resourcemanager没启动
然后在50070和8088端口进行测试
在測试之前为了防止namenode不能热切换,最好安装此插件
若是一个能访问,访问另一个时跳到前一个的时候并不是错误,那样是正常的
能访问的那个是active状態,若是两个都能访问则一个是active一个是standby
首先在master主机上想hdfs上传一个文件,然后尝试能否在slave1和slave2上查看
#分别在三台虚拟机上查看
如果都能查看到,接下來再测试是否能够热切换
如果说你杀死了namenode进程,那么相应的50070端口则无法访问了,同理8088端口一样
接下来会说一下hive的安装和使用