This documentation is for an out-of-date version of Apache Flink. We recommend you use the latest stable version.
连接器和格式
连接器和格式 #
Flink 应用程序可以通过连接器读取和写入各种外部系统。它支持多种格式,以便对数据进行编码和解码以匹配 Flink 的数据结构。
DataStream 和 Table API/SQL 都提供了连接器和格式的概述。
可用的组件 #
为了使用连接器和格式,您需要确保 Flink 可以访问实现了这些功能的组件。对于 Flink 社区支持的每个连接器,我们在 Maven Central 发布了两类组件:
flink-connector-<NAME>
这是一个精简 JAR,仅包括连接器代码,但不包括最终的第三方依赖项;flink-sql-connector-<NAME>
这是一个包含连接器第三方依赖项的 uber JAR;
这同样适用于格式。请注意,某些连接器可能没有相应的 flink-sql-connector-<NAME>
组件,因为它们不需要第三方依赖项。
uber/fat JAR 主要与SQL 客户端一起使用,但您也可以在任何 DataStream/Table 应用程序中使用它们。
使用组件 #
为了使用连接器/格式模块,您可以:
- 把精简 JAR 及其传递依赖项打包进您的作业 JAR;
- 把 uber JAR 打包进您的作业 JAR;
- 把 uber JAR 直接复制到 Flink 发行版的
/lib
文件夹内;
关于打包依赖项,请查看 Maven 和 Gradle 指南。有关 Flink 发行版的参考,请查看Flink 依赖剖析。
决定是打成 uber JAR、精简 JAR 还是仅在发行版包含依赖项取决于您和您的使用场景。如果您使用 uber JAR,您将对作业里的依赖项版本有更多的控制权;如果您使用精简 JAR,由于您可以在不更改连接器版本的情况下更改版本(允许二进制兼容),您将对传递依赖项有更多的控制权;如果您直接在 Flink 发行版的 /lib
目录里内嵌连接器 uber JAR,您将能够在一处控制所有作业的连接器版本。