北京电商网站开发价格网银网站建设银行
Kafka系列之:Dead Letter Queue死信队列DLQ
- 一、死信队列
 - 二、参数errors.tolerance
 - 三、创建死信队列主题
 - 四、在启用安全性的情况下使用死信队列
 
更多内容请阅读博主这篇博客:
- Kafka系列之:Kafka Connect深入探讨 - 错误处理和死信队列
 
一、死信队列
- 死信队列(DLQ)仅适用于接收器连接器。
 - 当一条记录以JSON格式到达接收器连接器时,但接收器连接器配置期望另一种格式,如Avro时,就会发生错误。连接器在发生serde错误时不会停止。相反,连接器会继续处理记录并将错误发送到Dead Letter Queue(DLQ)。可以使用DLQ主题记录中的记录标头来识别和解决出现错误时的问题。通常,这些是可以轻松纠正的配置错误。
 
注意:
- DLQ主题是根据与连接器API密钥关联的资源自动创建的。
 - 不能将接收器连接器的DLQ主题添加到同一接收器连接器消费的主题列表中(以防止无限循环)。
 
二、参数errors.tolerance
errors.tolerance有两个有效值:
- none(默认值)
 - all
 
当errors.tolerance设置为none时,错误或无效记录会导致连接器任务立即失败,
