大数据hudi之集成flink:Bucket 索引

当数据量比较大的时候，state的存储开销可能成为瓶颈，bucket 索引通过固定的 hash 策略，将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。（3）bucket index 不支持跨 partition 的变更(如果输入是 cdc 流则没有这个限制)，state index 没有限制。（1）bucket index 没有 state 的存储计算开销，

浊酒南街

551人浏览 · 2023-09-05 20:25:27

浊酒南街 · 2023-09-05 20:25:27 发布

从 0.11 开始支持
默认的 flink 流式写入使用 state 存储索引信息：primary key 到 fileId 的映射关系。当数据量比较大的时候，state的存储开销可能成为瓶颈，bucket 索引通过固定的 hash 策略，将相同 key 的数据分配到同一个 fileGroup 中，避免了索引的存储和查询开销。
1）WITH参数

名称	Required	默认值	说明
index.type	false	FLINK_STATE	设置 BUCKET 开启 Bucket 索引功能
hoodie.bucket.index.hash.field	false	主键	可以设置成主键的子集
hoodie.bucket.index.num.buckets	false	4	默认每个 partition 的 bucket 数，当前设置后则不可再变更

2）和 state 索引的对比：
（1）bucket index 没有 state 的存储计算开销，性能较好
（2）bucket index 无法扩 buckets，state index 则可以依据文件的大小动态扩容
（3）bucket index 不支持跨 partition 的变更(如果输入是 cdc 流则没有这个限制)，state index 没有限制

技术共进，成长同行——讯飞AI开发者社区

更多推荐

字节跳动开源VeOmni，造“全能AI”不再是工程噩梦

以下代码基于字节跳动开源的VeOmni框架，实现“全能AI”的核心功能模块，包括多模态数据处理、动态任务调度和自优化推理。字节跳动开源的VeOmni是一个面向“全能AI”（通用人工智能）开发的工程化解决方案，旨在简化复杂AI模型的训练、部署和生命周期管理。该项目通过模块化设计、自动化工具链和跨平台支持，降低多模态、多任务AI系统的开发门槛，尤其适用于大规模分布式场景。