- 应用开发
- Python API
- Table API用户指南
- Catalogs
Catalogs
本文档是 Apache Flink 的旧版本。建议访问 最新的稳定版本。
Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。
数据处理最关键的方面之一是管理元数据。
元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。
元数据也可以是持久化的,例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。
Catalog 类型
GenericInMemoryCatalog
GenericInMemoryCatalog
是基于内存实现的 Catalog,所有元数据只在 session 的生命周期内可用。
JdbcCatalog
JdbcCatalog
使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog
是当前实现的唯一一种 JDBC Catalog。
参考 JdbcCatalog 文档 获取关于配置 JDBC catalog 的详细信息。
HiveCatalog
HiveCatalog
有两个用途:作为原生 Flink 元数据的持久化存储,以及作为读写现有 Hive 元数据的接口。
Flink 的 Hive 文档 提供了有关设置 HiveCatalog
以及访问现有 Hive 元数据的详细信息。
警告 Hive Metastore 以小写形式存储所有元数据对象名称。而 GenericInMemoryCatalog
区分大小写。
用户自定义 Catalog
Catalog 是可扩展的,用户可以通过实现 Catalog
接口来开发自定义 Catalog。
想要在 SQL CLI 中使用自定义 Catalog,用户除了需要实现自定义的 Catalog 之外,还需要为这个 Catalog 实现对应的 CatalogFactory
接口。
CatalogFactory
定义了一组属性,用于 SQL CLI 启动时配置 Catalog。
这组属性集将传递给发现服务,在该服务中,服务会尝试将属性关联到 CatalogFactory
并初始化相应的 Catalog 实例。
如何创建 Flink 表并将其注册到 Catalog
使用 SQL DDL
用户可以使用 DDL 通过 Table API 或者 SQL Client 在 Catalog 中创建表。
更多详细信息,请参考Flink SQL CREATE DDL。
使用 Java/Scala
用户可以用编程的方式使用Java 或者 Scala 来创建 Catalog 表。
Catalog API
注意:这里只列出了编程方式的 Catalog API,用户可以使用 SQL DDL 实现许多相同的功能。
关于 DDL 的详细信息请参考 SQL CREATE DDL。
数据库操作
表操作
视图操作
分区操作
函数操作
通过 Table API 和 SQL Client 操作 Catalog
注册 Catalog
用户可以访问默认创建的内存 Catalog default_catalog
,这个 Catalog 默认拥有一个默认数据库 default_database
。
用户也可以注册其他的 Catalog 到现有的 Flink 会话中。
使用 YAML 定义的 Catalog 必须提供 type
属性,以表示指定的 Catalog 类型。
以下几种类型可以直接使用。
Catalog |
Type Value |
GenericInMemory |
generic_in_memory |
Hive |
hive |
修改当前的 Catalog 和数据库
Flink 始终在当前的 Catalog 和数据库中寻找表、视图和 UDF。
通过提供全限定名 catalog.database.object
来访问不在当前 Catalog 中的元数据信息。
列出可用的 Catalog
列出可用的数据库
列出可用的表