大数据学习之使用ambari动态添加主机的详细步骤

ambari是一个管理Hadoop的十分强大的工具,我想,大数据之所以大,就是数据多呗,那么在实际的生产中,能够动态的添加服务器到Hadoop集群内是十分必要的一件事情。

实验环境如下:

本次实验环境清单
IP地址 CPU 内存 系统版本
192.168.88.11 4核2CPU 8G  CentOS Linux release 7.7.1908 (Core
192.168.88.12 4核2CPU 8G CentOS Linux release 7.7.1908 (Core
192.168.88.13 4核2CPU 8G CentOS Linux release 7.7.1908 (Core
192.168.88.14(此服务器为要添加的服务器) 4核2CPU 8G CentOS Linux release 7.7.1908 (Core

服务器加入集群的步骤

一,现有的几个服务器的大致状态:

二,

添加服务器的思路

(1)与其它服务器一样,关闭防火墙和selinux。

systemctl disable firewalld &&systemctl stop firewalld 编辑 /etc/selinux/config 文件,关闭selinux

(2)计划添加的服务器域名是hdp4.com,因此,需要在该服务器的hosts里写入,主机名同样写入hosts里并同步到其余服务器。

这些就不用说了,编辑 /etc/hosts 和/etc/hostname 文件即可,编辑完成后同步到其它服务器。两个文件的内容如下,所有服务器hosts文件内容都一样就是同步了

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.11 hdp-1 hdp1.com
192.168.88.12 hdp-2 hdp2.com
192.168.88.13 hdp-3 hdp3.com
192.168.88.14 hdp-4 hdp4.com
[root@hdp-4 ~]# cat /etc/hostname 
hdp-4

(3)该服务器需要加入时间服务器里,时间服务器的地址是192.168.88.11 。

yum install ntp -y

vim /etc/ntp.conf

删除原有的server行,添加如下内容:

server 192.168.88.14

执行命令 ntpstat,输入如下即可(可能需要等待几分钟):

[root@hdp-4 ~]# ntpstat 
synchronised to NTP server (192.168.88.11) at stratum 12
   time correct to within 18 ms
   polling server every 64 s

(4)与其它的服务器需要互相免密,可互相免密登陆。

在14服务器上执行以下命令:

ssh-keygen -t rsa     连续回车即可,在执行

ssh-copy-id 192.168.88.11
ssh-copy-id 192.168.88.12
ssh-copy-id 192.168.88.13
ssh-copy-id 192.168.88.14

在其它服务器执行相同的命令:

ssh-copy-id 192.168.88.14 

(5)与其它服务器一样,安装相同的依赖。

yum install  openssl-devel bzip2-devel zlib-devel gcc gcc-c++ -y

rpm -ivh libtirpc-0.2.4-0.16.el7.src.rpm

rpm -ivh libtirpc-devel-0.2.4-0.16.el7.x86_64.rpm --nodeps

(6)同步其它服务器的yum仓库文件。

在其它任意一台服务器,比如192.168.88.11服务器上执行:

scp /etc/yum.repo.d/* hdp-4:/etc/yum.repo.d/

此时,在192.168.88.14上,执行以下命令应该有如下输出:

[root@hdp-4 ~]# yum repolist
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
HDP-3.1-GPL-repo-1                                                                                                                                   | 2.9 kB  00:00:00     
HDP-3.1-repo-1                                                                                                                                       | 2.9 kB  00:00:00     
HDP-3.1.5.0                                                                                                                                          | 2.9 kB  00:00:00     
HDP-GPL-3.1.5.0                                                                                                                                      | 2.9 kB  00:00:00     
HDP-UTILS-1.1.0.22                                                                                                                                   | 2.9 kB  00:00:00     
HDP-UTILS-1.1.0.22-repo-1                                                                                                                            | 2.9 kB  00:00:00     
ambari-2.7.5.0                                                                                                                                       | 2.9 kB  00:00:00     
localrepo                                                                                                                                            | 3.6 kB  00:00:00     
(1/7): HDP-3.1-GPL-repo-1/primary_db                                                                                                                 | 2.9 kB  00:00:00     
(2/7): HDP-UTILS-1.1.0.22-repo-1/primary_db                                                                                                          | 8.5 kB  00:00:00     
(3/7): HDP-3.1.5.0/primary_db                                                                                                                        |  89 kB  00:00:00     
(4/7): HDP-3.1-repo-1/primary_db                                                                                                                     |  89 kB  00:00:00     
(5/7): ambari-2.7.5.0/primary_db                                                                                                                     |  25 kB  00:00:00     
(6/7): HDP-GPL-3.1.5.0/primary_db                                                                                                                    | 2.9 kB  00:00:00     
(7/7): HDP-UTILS-1.1.0.22/primary_db                                                                                                                 | 8.5 kB  00:00:00     
repo id                                                                     repo name                                                                                 status
HDP-3.1-GPL-repo-1                                                          HDP-3.1-GPL-repo-1                                                                            4
HDP-3.1-repo-1                                                              HDP-3.1-repo-1                                                                              201
HDP-3.1.5.0                                                                 HDP Version - HDP-3.1.5.0                                                                   201
HDP-GPL-3.1.5.0                                                             HDP-GPL Version - HDP-GPL-3.1.5.0                                                             4
HDP-UTILS-1.1.0.22                                                          HDP-UTILS Version - HDP-UTILS-1.1.0.22                                                       16
HDP-UTILS-1.1.0.22-repo-1                                                   HDP-UTILS-1.1.0.22-repo-1                                                                    16
ambari-2.7.5.0                                                              ambari Version - ambari-2.7.5.0                                                              13
localrepo                                                                   localrepo                                                                                 4,067
repolist: 4,522

三,在web端,也就是ambari的web页面的操作

 

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐