当前位置: 首页 > news >正文

交互式网站制作wordpress文本块表格

交互式网站制作,wordpress文本块表格,宿豫建设局网站,如何用dw做网站背景: 我们日常使用kafka客户端消费kafka主题的消息时,当消费者退出/加入消费者组,kafka主题分区数有变等事件发生时,都会导致rebalance的发生,此时一般情况下,如果我们不自己处理offset,我们不…

背景:

我们日常使用kafka客户端消费kafka主题的消息时,当消费者退出/加入消费者组,kafka主题分区数有变等事件发生时,都会导致rebalance的发生,此时一般情况下,如果我们不自己处理offset,我们不需要理会这个rebalance的,当rebalance完成后,每个消费者会从__consumer_offsets中获取每个消费者此时的消费偏移位置,继续进行消费,此时有可能会重复消费.

flink对于kafka的rebalance的处理

我们之前说的是正常的情况下rebalance后消费者会从__consumer_offsets中获取偏移位置进行消费,那么对于开启了检查点的flink来说有什么不一样呢?
由于flink只有在checkpoint完成后才会提交偏移到broker服务器,如果按照之前的理解,那么当rebalance发生时,消费者从__consumer_offsets中获取比偏移位置的话也就意味着这个值是上一个checkpoint提交的偏移值,如果顺着这个思路往下,kafka的偏移相当于重置到了上一个checkpoint的位置,那么按理来说其他的状态,比如键值分区状态也会重置到上一个检查点的状态,要不然flink就不能保证状态的一致性了,所以真相到底是什么?

源码追踪:

1.首先看一下flink的kafka consumer的代码:
在这里插入图片描述

2.其中reassignPartitions方法代码如下所示:
在这里插入图片描述
3.再来看看assign方法的注释:
在这里插入图片描述
有没有恍然大悟的感觉?flink中使用assign的方式执行这个任务算子消费的kafka分区,是不会触发rebalance操作的.

彩蛋:

那这样的话,比如当kafka新增了满足条件的主题或者正在监听的主题新增了分区,flink是怎么消费到的?

http://www.yayakq.cn/news/424826/

相关文章:

  • 上海网站建设公司排名苏州做网站推广
  • 设计精美的国外网站wordpress图片在哪
  • 郑州七彩网站建设公司 评论产品的营销渠道有哪些
  • 沈阳快速网站建设网站开发东营最新新闻
  • 阿里网站建设百度注册公司地址
  • 爱站关键词挖掘工具汕头住房与城乡建设网站
  • 网站开发高级证网页制作与网站建设宝典(第2版)
  • 爬虫网站开发营销型网站有哪些建设流程
  • 网站策划布局新闻类网站设计
  • 怎么制作网站摄影师常用的网站
  • 河北营销型网站建设石家网站建设公司排名
  • 企业门户网站建设费用旅游网页设计页面 模板html
  • 静态网站 后台电脑科技网站模板
  • 深圳网站建设 东莞网站建设做推广网站有什么
  • 淘宝属于什么网站怎么做广州网络seo公司
  • 企业门户网站建设情况汇报万网域名备案网站
  • dw网站建设教程视频wordpress代码seo
  • 阿里云网站怎么备案域名解析自动优化网站建设
  • 快速搭建网站服务器安卓软件开发软件
  • 建设网站的项目策划书网页案例集锦
  • 建站服务搭建的页面时外贸商城网站
  • 网站怎么制作商城怎样制作网站积分系统
  • wordpress图片站网站开发需要代码吗
  • 网站程序模块如何在虚拟空间上做多个网站
  • 网页设计设计一个网站wordpress的cookies
  • 青岛网站维护汽车网站建设预算
  • 专业做外贸网站的公司甜品网站开发需求分析
  • 国家建设部投诉网站做单页网站怎么选产品
  • 外贸网站推广平台有哪些专业的网站建设企业网站
  • 井陉矿区网站建设网站建设收费标准渠道