上海企业网站国际物流网站建设

flink 如何实现端到端的 Exactly-once?

端到端包含 Source, Transformation,Sink 三部分的Exactly-once

• Source：支持数据的replay，如Kafka的offset。
• Transformation：借助于checkpoint
• Sink：Checkpoint + 两阶段事务提交

两阶段提交？

• 一旦Flink开始做checkpoint操作，就会进入pre-commit “预提交”阶段，同时JobManagerCoordinator会将Barrier注入数据流中。
• 当所有的barrier在算子中成功进行一遍传递（就是Checkpoint完成），并完成快照后，“预提交”阶段完成。
• 等所有的算子完成“预提交”，就会发起一个commit “提交”动作，但是任何一个“预提交” 失败都会导致Flink回滚到最近的checkpoint。

两阶段提交API
beginTransaction：在开启事务之前，我们在目标文件系统的临时目录中创建一个临时文件，后面在处理数据时将数据写入此文件。
preCommit：在预提交阶段，刷写（flush）文件，然后关闭文件，之后就不能写入到文件了，我们还将为属于下一个检查点的任何后续写入启动新事务。
commit：在提交阶段，我们将预提交的文件原子性移动到真正的目标目录中，请注意，这回增加输出数据可见性的延迟。
abort：在中止阶段，我们删除临时文件。

参考：
https://www.cnblogs.com/kunande/p/17142718.html