网站建设推广群工作室英文

背景

在flink中，我们经常使用kafka作为flink的数据汇，也就是目标数据的存储地，然而当我们使用FlinkKafkaProducer作为数据汇连接器时，我们需要注意一些注意事项，本文就来记录一下

使用kafka数据汇连接器

首先我们看一下常用的使用的情况：

    public FlinkKafkaProducer(String topicId,SerializationSchema<IN> serializationSchema,Properties producerConfig) {this(topicId,serializationSchema,producerConfig,//不指定分区器时，kafka默认使用FlinkFixedPartitioner分区器Optional.of(new FlinkFixedPartitioner<>()));}

可以看到在不指定分区器时，kafka默认使用FlinkFixedPartitioner作为分区器，我们查看一下FlinkFixedPartitioner的分区逻辑：

    public int partition(T record, byte[] key, byte[] value, String targetTopic, int[] partitions) {Preconditions.checkArgument(partitions != null && partitions.length > 0,"Partitions of the target topic is empty.");// 根据算子的任务索引号进行求余return partitions[parallelInstanceId % partitions.length];}

可以看到，同一个算子任务的记录都只会发送到同一个kafka分区上，当分区数大于算子任务数时，可以确定的是有一些分区是没有记录的，那你可能会问，有些分区没有记录有什么问题？