群起集群
单节点启动,需要我们手动去每个机器启动,过于繁琐。
1、配置workers
1)配置/opt/module/hadoop-3.2.1/etc/hadoop下的workers文件(hadoop3.0以后slaves更名为workers)
在该文件中增加如下内容:
hadoop101
hadoop102
hadoop103
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
2)同步所有节点配置文件
scp -r /opt/module/hadoop-3.2.1/etc/hadoop root@192.168.114.102:/opt/module/hadoop-3.2.1/etc
scp -r /opt/module/hadoop-3.2.1/etc/hadoop root@192.168.114.103:/opt/module/hadoop-3.2.1/etc
2、启动集群
如果集群是第一次启动,需要格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)
hdfs namenode -format
启动HDFS
start-dfs.sh
[root@hadoop101 ~]# jps
7506 DataNode
7386 NameNode
9418 Jps
[root@hadoop102 ~]# jps
9562 Jps
7439 DataNode
[root@hadoop102 ~]# jps
9562 Jps
7439 DataNode
[root@hadoop103 ~]# jps
7266 SecondaryNameNode
10920 Jps
8428 DataNode
启动YARN
[root@hadoop102 ~]# start-yarn.sh
注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN。
Web端查看
1)HDFS文件系统
4)JobHistory
启动JobHistory
[root@hadoop101 ~]# mr-jobhistory-daemon.sh start historyserver
WARNING: Use of this script to start the MR JobHistory daemon is deprecated.
WARNING: Attempting to execute replacement "mapred --daemon start" instead.
[root@hadoop101 ~]# jps
7506 DataNode
9686 JobHistoryServer
9497 NodeManager
9705 Jps
7386 NameNode