---

前言

之前有写过cdh5.x的安装过程，但是这次想体验下在cdh6.3.2下操作的体验，所以之后项目的操作环境都将是cdh6.3.2！但话说回来现在的cdh之后的版本都将收费，所以如果时间够充裕之后可以用apache版本去梭哈一把！！好了话不多说

---

一、配置ssh

查看：配置ssh连接

二、安装jdk

注意：这里离线安装jdk时建议安装在/usr/java目录下因为后续启动cm时会默认会去使用/usr/java下的jdk！！
查看：安装jdk

三、安装mysql

查看：内含mysql安装
1）配置mysql的驱动，将其拷贝至/usr/share/java路径下，并重命名

# 没有则创建
mkdir /usr/local/java
# 移动并重命名
mv mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

2）分发

# 创建文件夹，xcall自定义脚本可以去看下写的hadoop相关内容
xcall mkdir /usr/local/java
# 分发
xsync /usr/local/java/mysql-connector-java.jar

四、安装cm

其实可以参考下：cdh5系列安装过程其实是有些类似的
因为只有三台机器，所以三台机器规划如下：

节点	lsl101	lsl102	lsl103
服务	cloudera-scm-server &cloudera-scm-agent	cloudera-scm-agent	cloudera-scm-agent

这里是使用的离线安装cdh6.3.2,所含文件如下：

4.1 mysql中建库

1. 创建各组件需要的数据库，

-- 注意这里的mysql密码问题。可以将密码设置为 MasterScm01#
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'cscm';
GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'chue';
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4.2 安装cm

1. 创建目录存放cdh安装文件

cd /opt/soft/
mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /opt/cloudera-manager/
xsync /opt/cloudera-manager

2. 安装cloudera-manager-daemons,安装完毕后多出/opt/cloudera目录,在每个机器上都执行以下命令

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

3. 安装cloudera-manager-agent,在每个机器上都执行以下命令

yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

4. 安装agent的server节点,在每个机器上都执行以下命令

vim /etc/cloudera-scm-agent/config.ini
server_host=hostname

5. 安装cloudera-manager-server,在一台机器上执行

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

6. 上传CDH包导parcel-repo
   

7. 修改server的db.properties

vim /etc/cloudera-scm-server/db.properties
# 填入如下内容
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=cscm

8. 启动server服务

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
systemctl start cloudera-scm-server

坑：启动后查看状态发现一直没有正常启动，后来执行journalctl -xe 命令时发现找不到JAVA_HOME目录。但是我是有安装JAVA_HOME的，然后在脚本/opt/cloudera/cm/bin/cm-server中发现它默认使用的是/usr/java 这个目录下的jdk！

9. 启动agent节点

systemctl start cloudera-scm-agent
systemctl start cloudera-scm-agent
systemctl start cloudera-scm-agent

至此cm安装完成，使用
http://[server-host]:7180/cmf/login
账号：admin
密码：admin
进行访问！

五、安装CDH集群

5.1 接受条款和协议

5.2 集群安装

1. 指定主机
   
   
2. 选择cdh版本6.3.2
   
3. 等待下载安装
   
4. 检测网络性能，检查主机
   
   

1 解决：

# 临时修改
sysctl vm.swappiness=10
# 永久修改
vim /etc/sysctl.conf
# 加入内容
vm.swappiness=10

2 解决：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

点击重新检测即可

5. 集群设置
   
6. 节点分配
   
7. 数据库设置
   
8. 集群设置全部选默认即可
   
9. 自动启动进程
   
   

六、安装spark

七、其他配置与安装

7.1 修改HDFS的权限检查配置

关闭HDFS中的权限检查：dfs.permissions.不勾选，不进行权限检查。线上不合适，后期会进行权限专门的处理

7.2 配置NameNode HA

1）进入HDFS页面点击启用High Availability

2）命名

3）分配角色

4）审核更改

5）等待启动服务


安装HDFS的HA后配置hue与hive

7.3 配置Yarn HA

1. 启用yarn HA
   
   2)选择主机
   
   3）等待安装