🍋🍋大数据学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

Hive 作为大数据领域常用的数据仓库工具，其压缩与存储方式的选择对存储成本、查询性能有直接影响。以下是 Hive 支持的压缩格式与存储方式的详细总结：

一、压缩格式

Hive 支持多种压缩算法，通过减少数据体积优化存储和传输效率。常见格式如下：

压缩配置方法

1. 全局配置（hive-site.xml）：

   	<!-- 输入/输出压缩 -->
   	<property>
   	<name>hive.exec.compress.intermediate</name>
   	<value>true</value>
   	</property>
   	<property>
   	<name>mapreduce.output.fileoutputformat.compress.codec</name>
   	<value>org.apache.hadoop.io.compress.SnappyCodec</value>
   	</property>

2. 建表时指定：

   	CREATE TABLE compressed_table (
   	id INT,
   	name STRING
   	) STORED AS ORC
   	TBLPROPERTIES ("orc.compress"="SNAPPY");

3. 查询时动态压缩：

   	SET hive.exec.compress.output=true;
   	SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec;
   	INSERT OVERWRITE DIRECTORY '/output/path' SELECT * FROM source_table;

二、存储格式

Hive 支持多种列式/行式存储格式，直接影响查询性能与存储效率：

存储格式选择建议

• 列式优先：ORC/Parquet 适合分析型查询（压缩率高、支持列裁剪）。
• 嵌套数据：Parquet 对复杂类型（如 Array、Map）支持更优。
• 事务需求：ORC 支持 ACID，适合需要更新/删除的场景。

三、压缩与存储格式的协同优化

1. 推荐组合：
   • ORC + Snappy：平衡压缩率与查询性能（Hive 默认集成）。
   • Parquet + Zstd：高压缩率场景（如 AWS Athena 集成）。
   • TextFile + Gzip：冷数据归档。
2. 性能调优示例：

   	-- 创建 ORC 表并指定 Snappy 压缩
   	CREATE TABLE sales_data (
   	order_id BIGINT,
   	amount DOUBLE,
   	product STRING
   	) STORED AS ORC
   	TBLPROPERTIES ("orc.compress"="SNAPPY", "orc.stripe.size"="67108864"); -- 调整条带大小优化查询
   	-- 插入数据时启用压缩
   	SET hive.exec.compress.intermediate=true;
   	INSERT INTO sales_data SELECT * FROM raw_sales;

四、注意事项

1. 压缩开销：高压缩率格式（如 Bzip2）可能增加 CPU 负载，需权衡存储与计算资源。
2. 分片支持：选择支持分片的压缩格式（如 Snappy、Zstd）以实现并行处理。
3. 工具链兼容性：确保压缩格式与下游系统（如 Spark、Presto）兼容。

五、常见问题

Hive 视图（View）与临时表（CTE）的区别

问题：
视图和 CTE 的主要区别是什么？

答案要点：

Hive 压缩与存储格式

问题：
Hive 常用的压缩格式和存储格式有哪些？如何选择？

答案要点：

• 压缩格式：

  格式	压缩比	可分割性	适用场景
  Gzip	高	否	小文件
  Snappy	中	是	实时查询
  LZO	中	是	需索引支持

• 存储格式：

  格式	优点	适用场景
  TextFile	兼容性好	临时数据
  ORC	高性能，支持索引	生产环境
  Parquet	列式存储，适合嵌套	大数据分析