1、linux常用高级命令

1.1、top

--实时查看内存

1）第一行
23：07：25 ： 当前系统时间；
user : 用户个数；
load average ： 三个数分别表示1分钟，五分钟，15分钟的负载状况
***高于5表明系统在超负荷运转

2）第二行
task：任务（进程）
–系统共有250个进程，1个在运行，249在休眠，0个stop，0个僵尸状态

3）CPU状态
us：用户空间占用CPU的百分比
sy：内核空间占用CPU的百分比
ni：改变过优先级的进程占用CPU的百分比
id：空闲CPU百分比
wa：IO等待占用CPU的百分比
hi：硬中断占用CPU的百分比
si：软中断占用CPU的百分比

4）内存状态
total：物理内存总量
free：空闲交换区总量
used：使用的交换区总量
cached：缓冲的交换区总量

①u键切换用户

--输入用户，切换用户

②k键删除进程

--输入PID，删除进程

③q键退出top

1.2、iotop

--监视磁盘IO读写，查看每个进程使用磁盘I/O的情况
--必须以root用户运行

1.3、iotop -o

--显示正在使用的进程或线程

1.4、df -h

--查看linux服务器的文件系统磁盘空间占用情况

①文件系统
②容量
③已用
④可用
⑤已用占比
⑥挂载点

1.5、uptime

--查看报告系统运行时长及平均载荷

①系统时间；
②运行时长；
③一分钟，五分钟，十五分钟的负载情况。

1.6、ps -aux

--查看进程

2、shell常用工具和脚本

2.1、shell常用工具

1)awk

2)sed

--文本处理，用于字符替换、格式化；
--只能在命令行下输入编辑命令来编辑文本，然后在屏幕上查看输出，不会写回原文件，除非用shell的输出重定向来保存结果。

#按行显示
sed -n '2,3p' /文件

#按查找显示
sed -n '/chazhao/p' /文件

#字符替换
sed 's/pattern/替换文本/g' inputFileName > outputFileName

#删除空行
sed '/^$/d' inputFileName

3)cut

	--对文件每一行进行裁剪

4)sort

--对文本中的行进行排序

sort -t ':' -k3,3 -n
# -k3,3 指仅从第三个区间排序
# -k3,4 指从第三个到第四个区间的内容进行排序
# -k3则代表从第三个区间到结尾的内容

2.2、shell脚本

1)集群启动脚本

--shell脚本启动和关闭大数据集群

#!/bin/bash
echo "*********正在开始集群服务********"
echo "******正在开启namenode节点******"
#Zookeeper服务
for host in hadoop01 hadoop02 hadoop03
do
	ssh $host "source /etc/profilr;/opt/model/zookeeper-3.6.0/bin/zkserver.sh start"
done

#启动hdfs集群 namenode和datanode
start-fds.sh

#启动yarn资源管理集群 resourcemanager和nodemanager
start-yarn.sh

#启动job历史记录服务
mr-jobhistory-daemon.sh start historyserver

#启动hbase集群
start-hbase.sh

--关闭集群

#!/bin/bash

#关闭hbase
stop-hbase.sh

#关闭jobhistory
mr-jobhistory-daemon.sh stop historyserver

#关闭yarn服务
stop-yarn.sh

#关闭dfs
stop-dfs.sh

#zookeeper服务
for host in hadoop01 hadoop02 hadoop03
do
	sh $host "source /etc/profile;/opt/model/zookper-3.6.0/bin/zkserver.sh stop"
done

--关闭节点是整体意义上的倒序，不是细节上的倒序，hdfs和yarn在关闭的时候需要先关闭namenode和resourcemanager。

2）集群分发脚本

--scp（secure cope）安全拷贝可以实现服务器和服务器之间的数据拷贝。
--rsync远程同步工具：用于镜像和备份。
--rsync和scp区别：用rsync做文件的复制要比scp的速度快，
							  rsync只对差异文件做更新，-a归档拷贝
							  scp是把所有文件都复制过去

#scp基础语法
scp  -r   $dir/$fname 			$user@hadoop$host:$pdir/$fname
命令 递归  要拷贝的文件路径/名称 	目的用户@主机：目的路径/名称

#eg:将Hadoop1上的opt/module目录下的软件拷贝到hadoop102上
scp -r /opt/module root@hadoop102:opt/module

#rsync基础语法
rsync -av pdir/fname user@hadoophost:pdir/fname

#eg：将hadoop1上的opt/module目录县的数据复制到hadoop下
rsync -av /opt/software root@hadoop102:/opt/module

***rsync集体群分脚本

①需求

循环复制文件到所有节点的相同目录下

②需求分析

脚本内容是什么，脚本名称是什么，脚本放在哪个路径地下

#1、rsync命令原始拷贝
rsync -av /opt/module root@hadoop103:/opt/

#2、脚本名称
jiqunfenfa.sh

#3、脚本存放位置
/home/lizhi/bin  #lizhi用户可以在系统任何地方直接执行

③脚本实现

1、创建脚本

cd /home/lizhi
mkdir bin
touch jiqunfenfa
vim jiqunfenfa

2、编写脚本

#!/bin/bash

#1.判断参数个数
if [ $# -lt 1]
then
	echo not enough arguement!
	exit;
fi

#2.遍历集群所有机器
for host in hadoop1 hadoop2 hadoop3
do 
	echo ======$host======
	#3.遍历所有目录，挨个发送
	for file in $@
	do 
		#4、判断文件是否存在
		if [ -e $file ]
		then
			#5.获取父目录
			pdir=$(cd -P $(dirname $file);pwd)
			#6.获取当前文件的名称
			fname=$(basename $file)
			ssh $host "mkdir -p $pdir"
			rsync -av $pdir/$fname $host:$pdir
		else
			echo $file does not exists!
		fi
	done
done

3）数仓和mysql的导入和导出

①通过数据工具sqoop进行hive和mysql的全量导入导出

mysql数据导入hive

sqoop import JDBC/用户名/密码/表名  map并行数目 hive-import  表分隔符/表名

sqoop import \
--connect jdbc:mysql://master1.hadoop:3306/test \    --mysql连接信息（JDBC）
--username root \                                    --mysql用户名
--password 123456 \                                  --mysql密码  

--query 'select * from people_access_log where \$CONDITIONS and url = "https://www.baidu.com"' \                          
--后接查询语句，条件查询需要\$CONDITIONS and连接查询条件，这里的\$表示转义，必须有.
  
--table people_access_log \                          --mysql表名
--m 1 \                                              --并行导入启用的map任务数量
--hive-import \                                      
--create-hive-table \                                --插入数据到hive中，使用默认的hive分隔符
--fields-terminated-by '\t' \                        --hive分隔符号
--hive-table web.people_access_log                   --hive表名

Hive数据导入到Mysql

sqoop export mysql JDBC/用户名/密码/表名 input 分隔符/表名  map数目

sqoop export \
--connect jdbc:mysql://master1.hadoop:3306/test \
--username root \
--password 123456 \
--table people_access_log_out \
--input-fields-terminated-by '\t' \
--export-dir /user/hive/warehouse/web.db/people_access_log \
--num-mappers 1

②通过数据工具sqoop进行hive和mysql的增量导入导出

基于递增列Append导入、

append适合业务系统库，一般业务系统表会通过自增ID作为主键标识唯一性

Ⅰ、创建job

创建计划任务，然后定时执行

sqoop job --create mysql2hive_job -- import \                   --创建了一个mysql2hive_job
--connect jdbc:mysql://master1.hadoop:3306/test \
--username root \
--password 123456 \
--table people_access_log \
--target-dir /user/hive/warehouse/web.db/people_access_log \     --目标表路径
--check-column id \                                              --递增列名
--incremental append \                                           --插入方式
--fields-terminated-by '\t' \
--last-value 6 \
-m 1

Ⅱ、执行job

sqoop job -exec mysql2hive_job

可用shell脚本定时执行

Lastmodified 导入实战

Lastmodified适合ETL的数据根据时间戳字段导入，表示只导入比这个时间戳大，即比这个时间晚的数据。

Ⅰ、创建Job

sqoop job --create mysql2hive_job - import \
--connect jdbc:mysql://master1.hadoop:3306/test \
--username root \
--password 123456 \
--table people_access_log2 \
--hive-import \
--hive-table web.people_access_log2 \
--check-column access_time \
--incremental lastmodified \
--last-value "2019-12-28 16:23:56" \
--fields-terminated-by ',' \
--merge-key id

这种基于时间导入模式，需要指定--merge-key或者--append参数，表示根据时间戳导入，数据是直接在末尾追加(append)还是合并(merge)，这里使用merge方式，根据id合并：

Ⅱ、执行job

	sqoop job -exec mysql2hive_job

4）数仓内部的导入

--简单shell脚本执行hive

Ⅰ、hive -e命令

运行引号内sql查询语句

#!/bin/bash

#1、定义HIVE_HOME 
HIVE_HOME=/opt/software/hive

echo "启动hive ``````"
echo "创建临时表emg_tmpcxb"
#2、hive -e进行数据加载 
$HIVE_HOME/bin/hive -e "
drop table if exists emg.emg_tmpcxb;
create table if not exists emg.emg_tmpcxb(utc string)row format delimited fields 
terminated by '\t';
"
echo "建表成功  开始导入数据"
 
$HIVE_HOME/bin/hive -e "
insert overwrite table emg.emg_tmpcxb select utc from  emg.d181119 limit 5;
"
 
echo "数据导入成功"

Ⅱ、hive -f命令

把需要执行的hql单独保存成文件，然后通过linux的命令行执行

①生成text.sql文件

use database;

drop table cl_a;

--create table cl_a(a string);

②命令执行

hive -f test.sql

Ⅲ、hive -hivevar命令

Shell调用Hive传参、回传并处理海量数据分区

①、编写hql脚本

insert overwrite 
table dw.tw_order_custom_portrait_d 
partition(statis_year='${hivevar:iv_year}', statis_month='${hivevar:iv_mon}',
		  statis_date = '${hivevar:iv_date}') 
select tod.product_type, tod.package_level 
from ods.to_order_custom_portrait_d tod where tod.statis_date = ${hivevar:iv_date};

②、编写shell脚本

#!/usr/bin/bash

HIVE_HOME=/opt/software/hive

#项目是离线数据处理，今天拿到的是隔天的数据，先把时间变量设置好，亦HQL的入参
iv_date="`date -d "1 days ago" +%Y%m%d`"

iv_mon=${iv_date:0:6}
#echo $iv_mon;
iv_year=${iv_date:0:4}
#echo $iv_year;

#设置hive变量，处理hql
cd $HIVE_HOME

bin/hive -e "select count(1) from ods.to_order_custom_portrait_d tod where tod.statis_date = ${hivevar:iv_date};"

#处理返回参数
rtstatus=$?
echo $rtstatus
if [ $rtstatus -lt 1 ]; then
    echo "to_order_custom_portrait_d表数据不存在!"
    exit $rtstatus
fi

#处理多个入参，到hql脚本，并执行hql脚本
bin/hive -hivevar iv_date=$iv_date -hivevar iv_mon=$iv_mon -hivevar iv_year=$iv_year 
-f 'tw_order_custom_portrait_d.hql'

#处理返回参数
exitCode=$?
if [ $exitCode -ne 0 ];then
     echo "[ERROR] hive execute failed!"
     exit $exitCode
fi

③调用shell脚本

sh  test.sh

Ⅳ、shell外部入参

  $# 获取参数的个数
  $*  获取全部参数
  $@  获取全部参数