大数据——Sqoop增量导入shell脚本

应用环境：在实际业务中，表中数据量大且历史数据不会被修改，成交订单数据，可以采用增量表导入#!/bin/bash#传入增量导入的起始日期，若不传，则默认为前一天args=$1dt=if [ ${#args} == 0 ]thendt=`date -d '1 days ago' +%Y%m%d`elsedt=$1fisqoop job --delete bap_user_ordersqoop job

Vicky_Tang

11290人浏览 · 2021-08-08 12:08:31

Vicky_Tang · 2021-08-08 12:08:31 发布

应用环境：在实际业务中，表中数据量大且历史数据不会被修改，成交订单数据，可以采用增量表导入

#!/bin/bash
#传入增量导入的起始日期，若不传，则默认为前一天
args=$1
dt=
if [ ${#args} == 0 ]
    then 
    	dt=`date -d '1 days ago' +%Y%m%d`
    else
    	dt=$1
fi

sqoop job --delete bap_user_order
sqoop job --create bap_user_order \
-- import \
--connect jdbc:mysql://singleNode:3306/snbap_ods \
--driver com.mysql.jdbc.Driver \
--username root \
--password-file /sqoop/pwd/sqoopPWD.pwd \
--table user_order \
--target-dir /snbap/ods_tmp/ods_user_order \
--fields-terminated-by '\001' \
--incremental lastmodified \
--check-column update_time \
--last-value $dt

echo "执行sqoop语句，开始加载数据"
sqoop job --exec bap_user_order
echo "执行sqoop语句完成"

echo "加载数据到分区表"
#使用 load data inpath模式加载数据到hive表时会删除源数据
#使用 load data local inpath模式加载数据到hive表时不会删除源数据
hive -e "load data inpath '/snbap/ods_tmp/ods_user_order/*' into table snbap_ods.ods_user_order partition(dt='$dt')"
rm -f *.java