二、更新apt和安装Vim编辑器

1、切换Hadoop用户，并输入密码

图4：切换Hadoop用户，并输入密码

在Ubuntu终端输入su hadoop切换成hadoop用户。
（必须切换到hadoop用户，不然后面会有问题。）

2、更新 apt

图5：更新apt

首先要确认已经切换到了hadoop用户，接着在终端输入sudo apt-get update使得hadoop用户更新apt，为接下来下载vim做准备。

3、安装 vim 编辑器

图6：安装vim编译器

在终端输入sudo apt-get install vim下载vim编译器。（vim编译器的作用：创建、维护或修改文本文件，维护Linux系统中的各种配置文件。）
当出现Do you want to continue?的时候需要我们输入y进行确认。（这里大小写都可以。）

图7：vim编译器安装完成

三、安装 SSH 和配置 SSH 无密码登录

1、安装 SSH 服务端

图8：安装 SSH 服务端

在终端输入sudo apt-get install openssh-server安装openssh。（OpenSSH 是 SSH （Secure SHell） 协议的免费开源实现OpenSSH提供了服务端后台程序和客户端工具，用来加密远程控制和文件传输过程中的数据，并由此来代替原来的类似服务。）
当出现Do you want to continue?的时候需要我们输入y进行确认。（这里大小写都可以。）

图9： SSH 服务端安装完成

2、登录本机

图10：登录本机

在终端输入ssh localhost请求登录本机。注意这里的确认要填的是yes。

图11：输入hadoop用户密码

图12：成功登录本机

3、配置无密码登录

图13：退出openssh并进去ssh文件夹

在终端输入exit退出openssh，当出现Connection to localhost closed.表示成功退出openssh。接着在终端输入cd ~/.ssh/进入ssh文件夹内。

图14：生成密钥并保存

在终端输入ssh-keygen -t rsa生成密钥，接着要等相关指令出来后按enter回车键（一共三次）。完成后我们能看到密钥和公钥都保存在了/home/hadoop/.ssh/里面。

图15：查看/.ssh下的文件

在终端输入ll查看/.ssh下的所有文件，确保密钥和公钥都保存在了这里。

4、确认配置成功

图16：确认配置成功

在终端输入cat ./id_rsa.pub >> ./authorized_kays加入授权，接着输入ssh localhost测试无密码登录ssh，最后输入exit退出ssh。

四、安装 Java

1、拖拽安装包到 downloads

图17：将下载好的安装包拖拽到 Downloads

图18：成功拖拽安装包到 Downloads

2、Hadoop用户下进入Downloads文件夹

图19：查看Downloads文件夹位置

注意要在Hadoop用户下进入Downloads。（在Ubuntu终端输入su hadoop切换成hadoop用户。）
我这里是将安装包保存在nuyoah/Downloads下。（注意nuyoah是我最开始设置的用户名）通过终端输入ll查看downloads文件夹位置。

图20：进入Downloads文件夹

进入Downloads文件夹后，在终端输入ll确认Downloads文件夹有刚刚拖进来的安装包。

3、创建jvm文件夹

图21：创建jvm文件夹

在终端输入sudo mkdir /usr/lib/jvm创建jvm文件夹。（出现Permission denied错误表示要在指令前加“sudo”。）

4、将:JDK安装包复制到 jvm 文件夹下

图22：将:JDK安装包复制到 jvm 文件夹

在终端输入sudo cp jdk-8u211-linux-x64.gz /uer/lib/jvm复制JDK安装包到 jvm 文件夹，其中sudo是给权限，cp是复制，jdk-8u211-linux-x64.gz是要复制的文件名，/uer/lib/jvm是要复制到的路径。在终端输入cd /uer/lib/jvm以及ll到目标文件夹下查看是否完成复制。

5、解压

图23：解压jdk

在终端输入sudo tar -zxvf ./jdk-8u211-linux-x64.gz -C /uer/lib/jvm解压指令对jdk文件解压。（-zxvf ：z代表gzip的压缩包；x代表解压；v代表显示过程信息；f代表后面接的是文件）
需要记住jdk1.8.0_211/这个文件夹，后面环境配置时需要。

图24：解压完成

图25：确认解压是否成功

在终端输入cd jdk1.8.0_211/进入该文件夹确认解压是否成功，如果该文件夹为空则前面某一步有问题导致解压不成功，反之则为解压成功。
6、配置环境变量

图26：进入环境变量配置

在终端输入cd …返回上一级文件夹，再输入vim ~/.bashrc进入环境变量配置。

图27：进入环境变量

进入环境变量，此时补课编辑，只可查看。需要按“i”进入 insert 模式。

图28：配置环境变量

图29：按 ESC 保存，然后 shift+：wq

按 ESC 保存，然后 shift+：wq退出环境配置。

图30：确认jdk安装成功

在终端输入source ~/.bashrc激活刚刚配置的环境变量，接着在终端输入java -version查看java版本，确认jdk安装成功。

五、安装单机 Hadoop

1、确认文件及文件夹

图31：确认文件及文件夹

在终端进入Downloads文件夹确认hadoop的安装包在该文件夹内。

2、解压安装包到/usr/local下

图32：解压安装包到/usr/local

在终端输入sudo tar -zxvf hadoop-3.1.3.tar.gz -C /uer/local解压指令对hadoop文件解压。（-zxvf ：z代表gzip的压缩包；x代表解压；v代表显示过程信息；f代表后面接的是文件）

图33:解压完成

Hadoop安装包解压完成，其中hadoop-3.1.3/是解压后的文件夹的名称。

3、修改目录名及目录权限

图34：修改目录名及目录权限

在终端输入cd /uer/local进入local文件夹，通过ll查看改文件夹内的文件。为了方便，通过输入sudo mv ./hadoop-3.1.3/ ./hadoop将文件夹hadoop-3.1.3的名字改成了hadoop。通过输入sudo chown -R hadoop ./hadoop修改权限。

4、查看版本信息

图35：查看版本信息

在终端输入cd hadoop/进入hadoop文件夹，再输入./bin/hadoop version查看版本信息。

5、测试

图36：复制文件到新建文件夹input内

在终端输入mkdir input新建文件夹input，接着输入cp ./etc/hadoop/.xml ./input（其中.xml代表所有的.xml文件），此行目的是将uer/local/hadoop/etc/hadoop下的所有的.xml文件复制到input文件夹内。
通过cd input进入input文件夹我们确认了复制成功。

图37：测试

在终端输入./bin/hadoop jar /usr/loacl/hadoop/share/hadoop/mapreduce/
hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'测试指令进行测试。

图38：测试完成

测试完成，在终端输入cat ./output/*查看输出数据。

六、Hadoop 伪分布式安装

1、修改配置文件（在etc/hadoop下）

图39：查看要修改的配置文件

通过终端cd etc/hadoop进入etc/hadoop查看要修改的配置文件。通过查看得知需要配置core-site.xml和hdfs-site.xml两个文件夹。
在终端输入vim core-site.xml使用vim编辑器配置。

图40：进入core-site.xml

图41：core-site.xml配置完成
2、配置

图42：配置hdfs-site.xml

在终端输入vim hdfs-site.xml使用vim编辑器配置。

图43：进入hdfs-site.xml

图44：hdfs-site.xml配置完成

3、初始化

图45：初始化

在终端输入cd /usr/local/hadoop回到/usr/local/hadoop文件夹，再输入bin/hdfs namenode -format进行初始化。

图46：初始化成功

4、启动 hdfs

图47：启动hdfs

在终端输入./sbin/start-dfs.sh启动hsfd，再输入jsp查看java进程。

5、查看 Hadoop（用 Browser）

图48：用 Browser查看 Hadoop

注意这里要用Ubuntu自带的浏览器，地址为：http://localhost:9870

6、创建Hadoop用户的用户目录及input目录

图49：创建 Hadoop 用户的用户目录及 input 目录

在终端输入./bin/hdfs dfs -mkdir -p /usr/hadoop创建Hadoop用户的用户目录,在终端输入./bin/hdfs dfs -mkdir input创建Hadoop用户的input目录。(其中./bin/hdfs dfs是指令前缀，后面是正常的Ubuntu指令。)

7、将本地配置文件夹上传到分布式文件系统

图50：将本地配置文件夹上传到分布式文件系统

在终端输入bin/hdfs dfs -put ./etc/hadoop/.xml input将本地配置文件夹上传到分布式文件系统.(bin/hdfs dfs是指令前缀,-put是命令，./etc/hadoop/.xml是源，input是目标。）

8、测试demo

图51：测试demo

在终端输入./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/
hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'测试指令进行测试。
注意这里和单机hadoop测试不一样的地方是这里后面是input output，单机时是./input ./output。

图52：测试完成

9、查看结果

图53：查看测试结果

在终端输入.bin/hdfs dfs -cat output/*查看测试结果。

10、关闭 hdfs

图54：删除output目录

在终端输入.bin/hdfs dfs -rm -r output删除output目录。（每次执行都要吧上一次的output删除，测试过应该是底层写死的无法修改）

图55：关闭hdfs

在终端输入./sbin/stop-dfs.sh停止执行hdfs。

七、HDFS常用命令

（1）功能：显示

指定的文件的详细信息。

hadoop fs -1s

。

（2）功能：1s 命令的递归版本。
hadoop fs -1s -R

。

（3）功能：将

指定的文件的内容输出到标准输出 (stdout )。

hadoop fs -cat

。

（4）功能：将

指定的文件所属的组改为group，使用-R对

指定的文件夹内的文件进行递归操作。这个命令只适用于超级用户。

hadoop fs -chgrp [-RJgroup

。

（5）功能：改变

指定的文件所有者，-R 用于递归改交文件夹内的文件所有者。这个命令只适用于超级用户。

hadoop fs-chown [-R] [owner][ :[group]]

。

（6）功能：将

指定的文件的权限更改为。这个命令只适用于超级用户和文件所有者。

hadoop fs -chmod [- R]

。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
[外链图片转存中…(img-Gts7rDlW-1712574526247)]
[外链图片转存中…(img-6pwXlDUz-1712574526247)]
[外链图片转存中…(img-U9u5otMk-1712574526248)]
[外链图片转存中…(img-GkohYR15-1712574526248)]
[外链图片转存中…(img-uI2EbMLZ-1712574526248)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-kE2RW7HB-1712574526248)]