网站硬件需求聊城经济技术开发区人才网

目录

概述

Metadata

Planning

Runtime

扩展点

动态表工厂（Dynamic Table Factories）

动态表（Dynamic Table）

动态表源（Dynamic Table Source）

扫描表源（Scan Table Source）

查找表源（Lookup Table Source）

动态表接收器（Dynamic Table Sink）

编码/解码格式（Encoding / Decoding Formats）

案例

 pom.xml依赖

包结构

Factories

SocketDynamicTableSourceFactory

ChangelogCsvFormatFactory

Table Source and Decoding Format

SocketDynamicTableSource

ChangelogCsvFormat

Runtime

SocketSourceFunction

ChangelogCsvDeserializer

配置service

测试

---

        动态表（Dynamic tables）是Flink的Table & SQL API的核心概念，用于以统一的方式处理有界和无界数据。

        因为动态表只是一个逻辑概念，所以Flink并不拥有数据本身。相反，动态表的内容存储在外部系统（如数据库、键值存储、消息队列）或文件中。

        动态源（Dynamic sources）和动态接收器（dynamic sinks）可用于从外部系统读取数据和向外部系统写入数据。源（sources ）和接收器（sinks）通常被概括为连接器（connector）。言外之意，源是源头连接器，接收器是目标连接器。

        Flink为Kafka、Hive和不同的文件系统提供了预定义的连接器。有关内置表源和接收器的更多信息，请参阅连接器部分connector section。

         本文重点介绍如何开发用户自定义连接器。

概述

        在许多情况下，实现者不需要从头创建新的连接器，而是希望稍微修改现有的连接器或挂钩到现有的堆栈。在其他情况下，实现者希望创建专门的连接器。

        本节