This documentation is for an out-of-date version of Apache Flink. We recommend you use the latest stable version.
监控反压
监控反压 #
Flink Web 界面提供了一个选项卡来监控正在运行 Job 的反压行为。
反压 #
如果你看到一个 Task 发生 反压警告（例如： High），意味着它生产数据的速率比下游 Task 消费数据的速率要快。
在工作流中数据记录是从上游向下游流动的（例如：从 Source 到 Sink）。反压沿着相反的方向传播，沿着数据流向上游传播。
以一个简单的 Source -> Sink Job 为例。如果看到 Source 发生了警告，意味着 Sink 消费数据的速率比 Source 生产数据的速率要慢。
Sink 正在向上游的 Source 算子产生反压。
反压采样 #
通过不断对每个 Task 的反压状态采样来进行反压监控。JobManager 会触发对 Task Task.isBackPressured() 的重复调用。
Task 是否反压是基于输出 Buffer 的可用性判断的，如果一个用于数据输出的 Buffer 都没有了，则表明 Task 被反压了。
默认情况下，JobManager 会触发 100 次采样，每次间隔 50ms 来确定反压。
你在 Web 界面看到的比率表示在获得的样本中有多少表明 Task 正在被反压，例如: 0.01 表示 100 个样本中只有 1 个反压了。
- OK: 0 <= 比例 <= 0.10
- LOW: 0.10 < 比例 <= 0.5
- HIGH: 0.5 < 比例 <= 1
为了不因为采样导致 TaskManager 负载过重，Web 界面仅在每 60 秒后重新采样。
配置参数 #
你可以使用以下键来配置 JobManager 的样本数：
web.backpressure.refresh-interval: 有效的反压结果被废弃并重新进行采样的时间 (默认: 60000, 1 min)。web.backpressure.num-samples: 用于确定反压采样的样本数 (默认: 100)。web.backpressure.delay-between-samples: 用于确定反压采样的间隔时间 (默认: 50, 50 ms)。
示例 #
你可以在 Job 的 Overview 选项卡后面找到 Back Pressure 。
采样进行中 #
这意味着 JobManager 对正在运行的 Task 触发了反压采样。默认情况下，大约需要 5 秒完成采样。
注意，点击该行，可触发该算子所有 SubTask 的采样。
反压状态 #
如果你看到 Task 的状态为 OK 表示没有反压。HIGH 表示这个 Task 被反压。
