当前位置: 首页 > news >正文

嘉兴做网站公司dicuz和wordpress整合

嘉兴做网站公司,dicuz和wordpress整合,遵义建设网站,海南高端网站建设Iceberg 表元数据保持一个快照日志,记录了对表所做的更改。快照在 Iceberg 中至关重要,因为它们是读者隔离和时间旅行查询的基础。为了控制元数据大小和存储成本,Iceberg 提供了快照生命周期管理程序,如 expire_snapshots&#xf…

Iceberg 表元数据保持一个快照日志,记录了对表所做的更改。快照在 Iceberg 中至关重要,因为它们是读者隔离和时间旅行查询的基础。为了控制元数据大小和存储成本,Iceberg 提供了快照生命周期管理程序,如 expire_snapshots,用于删除基于表快照保留属性不再需要的快照和数据文件。

为了更精细的快照生命周期管理,Iceberg 支持分支和标签,这些是具有独立生命周期的快照的命名引用。这种生命周期由分支和标签级别的保留策略控制。分支是独立的快照血统,并指向该血统的头部。分支和标签具有最大引用年龄属性,用于控制何时应该过期对快照本身的引用。分支具有保留属性,这些属性定义了在分支上保留的最小快照数量以及在分支上保留的单个快照的最大年龄。在运行 expireSnapshots 过程时会使用这些属性。有关 expireSnapshots 算法的详细信息,请参考规范。

用例

分支和标签可以用于处理GDPR(通用数据保护条例)要求,以及保留用于审计的重要历史快照。分支还可以作为数据工程工作流程的一部分,用于创建实验性分支,以测试和验证新任务。请参阅下面的一些示例,了解分支和标签如何促进这些用例。

历史标签

标签可以用于保留用于审计目的的重要历史快照。
在这里插入图片描述

上图展示了使用以下保留策略保留重要历史快照,该策略通过 Spark SQL 定义。

  1. 保留每周1个快照,为期1个月。这可以通过标记每周快照并将标签保留时间设置为一个月来实现。快照将被保留,分支引用本身将保留1周。
-- Create a tag for the first end of week snapshot. Retain the snapshot for a week
ALTER TABLE prod.db.table CREATE TAG `EOW-01` AS OF VERSION 7 RETAIN 7 DAYS;
  1. 保留每月1个快照,为期6个月。这可以通过标记每月快照并将标签保留时间设置为6个月来实现。
-- Create a tag for the first end of month snapshot. Retain the snapshot for 6 months
ALTER TABLE prod.db.table CREATE TAG `EOM-01` AS OF VERSION 30 RETAIN 180 DAYS;
  1. 保留每年1个快照,永久保存。这可以通过标记年度快照来实现。分支和标签的默认保留时间是永久的。
-- Create a tag for the end of the year and retain it forever.
ALTER TABLE prod.db.table CREATE TAG `EOY-2023` AS OF VERSION 365;
  1. 创建一个临时的“test-branch”,该分支保留7天,且分支上的最新2个快照会被保留。
-- Create a branch "test-branch" which will be retained for 7 days along with the  latest 2 snapshots
ALTER TABLE prod.db.table CREATE BRANCH `test-branch` RETAIN 7 DAYS WITH SNAPSHOT RETENTION 2 SNAPSHOTS;

在这里插入图片描述

上图展示了一个使用审计分支来验证写入工作流的例子。

  1. 首先确保设置了 write.wap.enabled 参数。
ALTER TABLE db.table SET TBLPROPERTIES ('write.wap.enabled'='true'
);
  1. 创建一个从快照3开始的审计分支,该分支将被写入并保留1周。
ALTER TABLE db.table CREATE BRANCH `audit-branch` AS OF VERSION 3 RETAIN 7 DAYS;
  1. 写入操作在一个独立于主表历史的单独审计分支上执行。
-- WAP Branch write
SET spark.wap.branch = audit-branch
INSERT INTO prod.db.table VALUES (3, 'c');
  1. 验证工作流可以验证审计分支的状态(例如数据质量)。
  2. 验证后,可以将主分支快速前进到审计分支的头部,以更新主表的状态。
CALL catalog_name.system.fast_forward('prod.db.table', 'main', 'audit-branch');

在 Iceberg Java 库中,以及在 Spark 和 Flink 引擎集成中,支持创建、查询和写入分支和标签。

http://www.yayakq.cn/news/760591/

相关文章:

  • 外贸网站如何推广出去没有英文网站怎么做外贸
  • 四川建设发展股份有限公司网站怎么去创建一个公司
  • 包头天亿网站建设公司注册规划师好考吗
  • 长春建站费用购物网站cookie
  • 怎么用wordpress 建站网站备案填写电话号码
  • 举报网站建设绥化做网站
  • 北海网站建设公司大连的网站建设
  • 用vs2017做网站米拓建站免费模板
  • 2019一个网站开发要多少钱哪里可以免费推广广告
  • 淄博网站建设哪家便宜wordpress热门文章
  • 站长之家点击进入上网服务
  • 云南建设厅建筑业管理网站全网营销系统是不是传销
  • 建设部网站资质人员查询做网站编辑应该注意什么
  • 网站开发和郑州制作微信小程序
  • 网站关键词优化怎么做房地产如何做网站推广
  • 做网站需要掌握电子工程师证怎么考
  • 国内免费制作网页的网站泰安焦点网络
  • 网站建设在线视频软件技术学什么课程
  • 模版网站开发太原网站搜索优化
  • 地方网站优势wordpress 更新服务 搜狗
  • 软件资源网站优化生育政策
  • 建筑网站 法人签字专业网络分销平台
  • 沈阳网站建设的公司建立健全()和安全生产规章制度
  • jsp网站访问万维网五家渠建设局网站
  • 中国建设银行个人登陆网站网页设计作业动态
  • 商务网站的建设前端需要学什么
  • 现在找个网站这么难的吗郑州网站制作方案报价
  • wordpress表单支付插件下载营销网站seo推广
  • 深圳网站页面设计怎么在外国网站上找产品做跨境电商
  • 新网站建设有什么做任务拿钱的网站