【数据湖】Iceberg 表的分支和标签

Apache Iceberg 是一个用于大规模分析数据集的开源表格格式，它支持灵活的表格版本控制。Iceberg 提供了**分支**（Branch）和**标签**（Tag）两种机制，用于管理和维护表的历史快照，并对数据进行更加精细的版本控制。这些功能在数据工程、数据湖管理和合规审计中都非常有用。

在路上_JD · 2024-12-27 10:41:28 发布

Apache Iceberg 是一个用于大规模分析数据集的开源表格格式，它支持灵活的表格版本控制。Iceberg 提供了分支（Branch）和标签（Tag）两种机制，用于管理和维护表的历史快照，并对数据进行更加精细的版本控制。这些功能在数据工程、数据湖管理和合规审计中都非常有用。

分支是 Iceberg 中的一种独立的快照谱系，它表示从某个特定快照开始的一条数据历史线。每个分支都可以进行独立的修改，指向其自身的头部快照。

作用：分支允许在不影响主表或其他分支的情况下进行实验性修改和数据更新。例如，你可以在一个分支上进行数据验证、测试或对新数据做出临时更改，而这些更改不会影响到表的主版本。
生命周期管理：分支拥有自己的生命周期，可以根据需要设置快照的保留策略。例如，可以设置一个分支在一周后删除，或者根据时间或快照数量来控制保留的历史数据。
使用场景：
- 数据验证：可以在分支上验证数据更新是否有效，而不影响主表的稳定性。
- 实验性开发：数据工程师可以在分支上进行新功能的测试和验证。
- 合规性审计：可以通过分支来保留特定时间段的数据快照，确保符合合规要求。

标签是对特定快照的命名引用，用于标记某个关键时间点的数据状态。每个标签都指向一个特定的快照，并且标签有自己独立的生命周期。

作用：标签主要用于表示表格的某个固定版本。例如，可以使用标签标记一个月度数据的快照，或者标记一个合规检查通过的快照。标签让你能够在查询时方便地找到和引用特定的历史快照。
生命周期管理：标签的生命周期通常较长，甚至是永久的。你可以为标签设置过期时间，确保标签指向的数据可以在需要时随时访问。
使用场景：
- 时间旅行查询：通过标签，你可以方便地回溯到特定版本的数据。
- 历史记录标记：可以用标签标记某个特定的快照，作为系统发布、数据备份或合规审计的记录。

分支的创建通常基于当前表的某个快照。以下是如何在 Iceberg 中创建和使用分支的示例：

通过 Iceberg Java 库创建分支：

Table table = ... // 获取 Iceberg 表
Branch branch = table.branch("test_branch"); // 创建名为 test_branch 的分支

通过 Spark DDL 创建分支：

CREATE BRANCH test_branch;

在这个例子中，test_branch 分支将会从当前表的快照创建，并可以在该分支上进行独立的数据操作。

一旦分支创建成功，你可以从该分支读取数据，而不会影响主表的状态。以下是如何从分支读取数据的示例：

通过 Iceberg Java 库读取分支数据：

Table table = ... // 获取 Iceberg 表
table.useBranch("test_branch"); // 切换到 test_branch 分支
// 执行读取操作
DataFile dataFile = ... // 从分支读取数据

通过 Spark 查询分支的数据：

SELECT * FROM test_branch;

标签是指向特定快照的引用。你可以为特定时间点或版本创建标签，以下是如何创建标签的示例：

通过 Iceberg Java 库创建标签：

Table table = ... // 获取 Iceberg 表
Tag tag = table.tag("v1.0"); // 创建一个标签，指向 v1.0 快照

通过 Spark DDL 创建标签：

CREATE TAG v1.0;

标签用于回溯特定版本的数据，你可以根据标签查询历史快照的数据：

通过 Spark 查询标签数据：

SELECT * FROM v1.0;

通过这个查询，你将能够获取到标记为 v1.0 标签的快照数据，确保你可以回溯到某个固定版本的数据状态。

利用 Iceberg 的时间旅行功能，你可以通过查询特定快照 ID 或标签来访问历史数据。时间旅行允许你查看过去的数据状态，并进行回滚操作。

通过快照 ID 进行时间旅行查询：

SELECT * FROM table FOR SYSTEM_TIME AS OF 'snapshot-id';

通过标签进行时间旅行查询：

SELECT * FROM table FOR SYSTEM_TIME AS OF 'tag_name';

分支保留策略：分支有自己的快照保留策略，你可以定义在分支上保留多少个快照，或者保留多长时间。例如，你可以设置每个分支仅保留最近的 2 个快照，或者设置一个分支的生命周期为 1 周。
标签保留策略：标签通常指向某个固定快照，标签本身可以永久存在，但你也可以定义标签的生命周期，确保它们在一定时间后过期。