1 基础环境准备

购买3台2核8G的轻量应用服务器，命名为hadoop201，hadoop202，hadoop203

1）设置防火墙规则

在3台机器上分别设置防火墙规则，只允许3台服务器彼此之间可以访问以及本地windows电脑可以连接这3台服务器，目的是拒绝其他服务器的访问，防止木马病毒的入侵。
在这里插入图片描述

2）设置SSH远程链接超时

a 服务器配置文件/etc/ssh/sshd_config

TCPKeepAlive yes
ClientAliveInterval 60
ClientAliveCountMax 20

b MobaXterm工具设置

1 打开MobaXterm的设置界面
在这里插入图片描述
2 把 SSH keepalive 勾选上

在这里插入图片描述

3）修改主机名

hostnamectl set-hostname hadoop201
hostnamectl set-hostname hadoop202
hostnamectl set-hostname hadoop203

4）创建一般用户

创建一个一般用户mayx，并配置密码

useradd mayx
passwd mayx

5）配置mayx用户具有root权限

方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers
root    ALL=(ALL)       ALL
mayx    ALL=(ALL)       NOPASSWD:ALL

保存时wq!强制保存

6）关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

7）配置/etc/hosts

# hadoop201 节点
hadoop201内网ip    hadoop201
hadoop202外网ip    hadoop202
hadoop203外网ip    hadoop203

# hadoop202 节点
hadoop201外网ip    hadoop201
hadoop202内网ip    hadoop202
hadoop203外网ip    hadoop203

# hadoop203 节点
hadoop201外网ip    hadoop201
hadoop202外网ip    hadoop202
hadoop203内网ip    hadoop203

8）创建安装文件夹

在/opt目录下创建两个文件夹module和software，并赋给所有权

sudo mkdir /opt/module /opt/software
sudo chown mayx:mayx /opt/module/ /opt/software/

9）创建分发脚本

在用户的家目录/home/mayx下创建bin文件夹

[mayx@hadoop201 bin]$ mkdir bin
[mayx@hadoop201 bin]$ vim xsync
[mayx@hadoop201 bin]$ chmod u+x xsync

脚本内容如下：

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi

#2. 遍历集群所有机器
for host in hadoop201 hadoop202 hadoop203
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

10）配置ssh免密登录

生成密钥对
ssh-keygen -t rsa 三次回车
        
发送公钥到本机
ssh-copy-id hadoop201 
        
分别ssh登陆一下所有虚拟机
ssh hadoop202
 exit
ssh hadoop203
exit
        
把/home/mayx/.ssh 文件夹发送到集群所有服务器
xsync /home/mayx/.ssh

2 安装JDK

将JDK安装包上传到Linux /opt/software目录下

1）解压JDK到/opt/module目录下

[mayx@hadoop201 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

2）配置JDK环境变量

直接将环境变量配置到 /etc/profile.d/my_env.sh 文件中

[mayx@hadoop201 software]$ sudo vim /etc/profile.d/my_env.sh

在/etc/profile.d/my_env.sh文件的末尾追加如下内容:

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

保存退出,然后执行如下命令

[mayx@hadoop201 software]$ source /etc/profile.d/my_env.sh

3）检查JDK是否安装成功

[mayx@hadoop201 software]$ java -version

在这里插入图片描述

4）分发JDK到其他虚拟机

[mayx@hadoop201 software]$ xsync /opt/module/jdk1.8.0_212/

5）分发环境变量配置文件

[mayx@hadoop201 software]$  sudo /home/mayx/bin/xsync /etc/profile.d/my_env.sh

6）在其他虚拟机分别执行如下命令

[mayx@hadoop201 software]$ source /etc/profile.d/my_env.sh

3 Hdoop3.1.3部署

1）集群部署规划

注意：NameNode和SecondaryNameNode不要安装在同一台服务器
注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

hadoop201 hadoop201 hadoop201
HDFS NameNode，DataNode DataNode SecondaryNameNode，DataNode
YARN NodeManager ResourceManager， NodeManager NodeManager

2）解压安装文件到/opt/module下面

[mayx@hadoop201 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3）将Hadoop添加到环境变量

[mayx@hadoop201 software]$ sudo vim /etc/profile.d/my_env.sh

文件内容如下

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4）分发环境变量文件

[mayx@hadoop201 hadoop-3.1.3]$ sudo /home/mayx/bin/xsync /etc/profile.d/my_env.sh

5）source使之生效

[mayx@hadoop201 ~]$ source /etc/profile.d/my_env.sh
[mayx@hadoop202 ~]$ source /etc/profile.d/my_env.sh
[mayx@hadoop203 ~]$ source /etc/profile.d/my_env.sh

6）配置集群

a 核心配置文件,配置core-site.xml

[mayx@hadoop201 hadoop-3.1.3]$ cd $HADOOP_HOME/etc/hadoop 
[mayx@hadoop201 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop201:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为mayx -->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>mayx</value>
</property>

<!-- 配置该mayx(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.mayx.hosts</name>
        <value>*</value>
</property>
<!-- 配置该mayx(superUser)允许通过代理用户所属组 -->
<property>
        <name>hadoop.proxyuser.mayx.groups</name>
        <value>*</value>
</property>
<!-- 配置该mayx(superUser)允许通过代理的用户-->
<property>
        <name>hadoop.proxyuser.mayx.users</name>
        <value>*</value>
</property>
</configuration>

b HDFS配置文件,配置hdfs-site.xml

[mayx@hadoop201 hadoop]$ vim hdfs-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop201:9870</value>
    </property>
   
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop203:9868</value>
    </property>
   
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

c YARN配置文件，配置yarn-site.xml

[mayx@hadoop201 hadoop]$ vim yarn-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
   
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop202</value>
    </property>
   
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
   
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
   
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
   
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>
     
     <!-- 设置日志聚集服务器地址 -->
     <property> 
         <name>yarn.log.server.url</name> 
         <value>http://hadoop201:19888/jobhistory/logs</value>
    </property>
     
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
</configuration>

d MapReduce配置文件，配置mapred-site.xml

[mayx@hadoop201 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop201:10020</value>
    </property>
     
     <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
       <value>hadoop201:19888</value>
    </property>
</configuration>

e 配置workers

[mayx@hadoop201 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件增加如下内容

hadoop201
hadoop202
hadoop203

7）分发hadoop

[mayx@hadoop201 hadoop]$ xsync /opt/module/hadoop-3.1.3/

8）格式化

如果集群是第一次启动，需要在hadoop201节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[mayx@hadoop201 hadoop-3.1.3]$ bin/hdfs namenode -format

9）启动HDFS，YARN

[mayx@hadoop201 hadoop-3.1.3]$ sbin/start-dfs.sh
[mayx@hadoop201 hadoop-3.1.3]$ sbin/start-yarn.sh

Web端查看HDFS的Web页面：http://hadoop201:9870/
在这里插入图片描述

10）群起脚本 hdp.sh

[mayx@hadoop201 bin]$ pwd
/home/mayx/bin
[mayx@hadoop201 bin]$ vim hdp.sh
[mayx@hadoop201 bin]$ chmod u+x hdp.sh

文件内容如下：

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
 
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop201 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop202 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop201 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
 
        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop201 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop202 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop201 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

11）集群所有进程查看脚本 xcall.sh

[mayx@hadoop201 bin]$ vim xcall.sh
[mayx@hadoop201 bin]$ chmod u+x xcall.sh

文件内容如下：

#! /bin/bash
 
for i in hadoop201 hadoop202 hadoop203
do
    echo --------- $i ----------
    ssh $i "$*"
done

在这里插入图片描述

# 腾讯云 # hadoop # 大数据 # 分布式
Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

cover

智能体（Agent）的记忆架构：深入解析短期记忆与长期记忆

avatar 讯飞AI开发者社区
cover

PHP与人工智能：结合案例与可能性探索

avatar 讯飞AI开发者社区

通用人工智能(AGI)发展现状：从科幻到现实的跨越

通用人工智能(AGI)正从科幻走向现实。2025年，多模态融合、递归推理引擎和能效革命三大技术突破推动AGI发展，国际科技巨头和中国企业加速布局。AI Agent在金融、医疗、教育等领域广泛应用，企业自动化效率显著提升。然而，数据隐私、算法透明度和就业替代等伦理挑战亟待解决。未来，AGI将向多模态量子计算融合、具身智能和世界模型方向发展，需要建立人机协作新模式和完善的政策法规框架。AGI既带来机遇

avatar 讯飞AI开发者社区