针对 Lakehouse 运行时目录的跨区域复制和灾难恢复功能可防范区域级服务中断。作为 Lakehouse for Apache Iceberg的一部分,此功能可为使用Apache Iceberg REST Catalog端点的表启用故障切换 。
在管理故障切换时,您可以选择用于计划测试的软故障切换,也可以选择用于快速恢复服务的硬故障切换。
工作原理
Lakehouse 运行时目录会自动为目录元数据选择主要区域和次要区域。主要区域会处理所有表提交元数据,然后将其复制到次要区域以进行备份。
在任何时候(尤其是在发生灾难时),您都可以使用故障切换操作切换目录的主要区域和次要区域。此操作会切换目录及其包含的所有命名空间和表的主要区域。
跨区域复制
跨区域复制涉及两个主要组件:数据复制和元存储复制。灾难恢复功能以跨区域复制为基础,以实现故障切换。
数据复制:当您使用双区域或多区域存储桶时,Cloud Storage 会自动跨 多个区域复制您的目录 数据。如果发生区域级服务中断,您的数据仍可访问,且存储路径不会发生变化。
元存储复制:对于 Iceberg REST Catalog 端点,当您使用双区域(或自定义双区域)存储桶时, Lakehouse 运行时目录会自动复制您的 元存储。 元存储复制会在您创建目录时开始。Lakehouse 运行时目录会从 Cloud Storage 配置中定义的区域中选择主要区域和次要区域。 主要区域会提供所有表提交元数据,并将其复制到次要区域以进行备份。
使用故障切换进行灾难恢复
借助灾难恢复功能,您可以切换目录的主要区域和次要区域。故障切换操作会切换目录及其所有命名空间和表的主要区域。故障切换有两种模式:软故障切换和硬故障切换。
软故障切换:软故障切换可防止数据丢失。在此模式下,只有在所有先前数据都从先前的主要区域同步后,新的主要区域才会开始接受写入。将软故障切换用于灾难恢复测试或其他计划场景。
硬故障切换:硬故障切换优先考虑可用性而非数据 一致性,旨在恢复服务。在此模式下,无论主要区域的当前状态如何,主要区域始终会接管并接受写入流量。例如,使用硬故障切换时,即使无法访问先前的主要区域,新的主要区域也可以接管。
限制
在预览版期间,此功能的 REPLICATION_TIMESTAMP 仅 跟踪目录元数据,而不是 Cloud Storage 文件。如需将数据 丢失保持在较低水平,请参阅 Cloud Storage 数据可用性和 持久性文档。
后续步骤
- 将跨区域复制和灾难恢复与 Lakehouse 运行时目录端点搭配使用。