构建Hadoop集群

配置要求如下:

安装包:

ambari-2.6.2.0-centos7.tar.gz    #ambari组件用于监控、安装、管理Hadoop套件

HDP-2.6.3.0-centos7-rpm.tar.gz #hadoop套件安装包,yarn,hdfs,hive等都在里面

HDP-UTILS-1.1.0.21-centos7.tar.gz 

服务器:

192.168.31.72   主机名称:master

192.168.31.73   主机名称:slave1

192.168.31.74   主机名称:slave2

防火墙关闭:

关闭防火墙: systemctl stop firewalld.service
禁用防火墙:systemctl disable firewalld.service
查看防火墙状态 systemctl status firewalld.service

1、修改主机名称

方式一、修改配置文件 

vim /etc/hostname

添加主机名称

1、修改主机名称

方式一、修改配置文件 

vim /etc/hostname

添加主机名称

 

方式二、通过命令行,永久生效

hostnamectl set-hostname master    

2、修改ip映射(三台机器都需要如下三行配置)

vim /etc/hosts

添加映射

配置完成后使用ping命令检查这3个机器是否相互ping得通(互相检查一下)。

3、3台机器互相配置免密登录

1.在机器A输入下面命令,三次回车后,就在机器A产生公钥和私钥
ssh-keygen
2.在机器A的/root/.ssh目录下执行下面命令,就复制到了机器B上
ssh-copy-id 机器B的ip
3.这样就可以SSH免密到机器B上了,想要相互免密,就相互按照上述步骤

如下为真实操作:

1)主节点执行命令

ssh-keygen

ssh-copy-id 192.168.31.72

ssh-copy-id 192.168.31.73

ssh-copy-id 192.168.31.74

2)在从节点1执行如下命令

ssh-keygen

ssh-copy-id 192.168.31.72

ssh-copy-id 192.168.31.73

ssh-copy-id 192.168.31.74

3)在从节点2执行命令

ssh-keygen

ssh-copy-id 192.168.31.72

ssh-copy-id 192.168.31.73

ssh-copy-id 192.168.31.74

完成之后通过  ssh 用户@ip 来确定是否可以免密登录

注意:每台机子上也要对本机设置免密,否则开启/关闭自己服务的时候还是需要输入密码
4、安装jdk

注意:jdk不能放在/home下

这里做了软连接

ln -s /usr/local/jdk1.8.0_91 /usr/local/java

export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAV_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

source /etc/profile

文章链接: https://www.mfisp.com/20294.html

文章标题:构建Hadoop集群

文章版权:梦飞科技所发布的内容,部分为原创文章,转载请注明来源,网络转载文章如有侵权请联系我们!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
建站教程

简述CDH及HDP

2023-5-8 10:44:32

建站教程

http安装服务

2023-5-9 9:53:43

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

梦飞科技 - 最新云主机促销服务器租用优惠