Flink 1.10.1在K8s的Per-Job模式HA改造：当传统YARN方案遇到云原生该怎么玩？

从YARN到Kubernetes：Flink Per-Job模式高可用架构的云原生重塑

如果你是从Hadoop生态一路走来的数据工程师，对Flink on YARN的部署模式一定不会陌生。那种熟悉的YARN队列、ResourceManager调度、HDFS存储的生态，构成了我们过去几年流处理生产环境的基石。但当你第一次尝试将Flink迁移到Kubernetes时，可能会发现事情变得不太一样——特别是当你需要为Per-Job模式配置高可用时。

我最近在帮一个金融客户做这样的迁移，他们原有的Flink on YARN架构已经稳定运行了两年多，但为了拥抱云原生和容器化，决定全面转向Kubernetes。在这个过程中，我们遇到了不少坑，也积累了一些经验。今天我想分享的，就是如何在K8s上为Flink Per-Job模式构建可靠的高可用架构，以及从YARN迁移时需要特别注意的那些细节。

1. 理解核心差异：YARN与K8s的高可用哲学

在深入配置细节之前，我们需要先理解YARN和Kubernetes在Flink高可用实现上的根本差异。这种差异不仅仅是技术实现的不同，更是两种资源管理哲学的分野。

1.1 YARN的高可用模式：Hadoop生态的深度集成

在YARN环境中，Flink的高可用通常依赖于ZooKeeper和HDFS的紧密集成。这种模式有几个显著特点：

• 资源管理委托：YARN的ResourceManager负责资源分配和调度，Flink的JobManager只需要专注于作业管理
• 存储依赖：Checkpoint和HA元数据通常存储在HDFS上，这是Hadoop生态的标准配置
• 故障恢复机制：YARN会自动重启失败的ApplicationMaster（即Flink的JobManager）

典型的YARN HA配置看起来是这样的：

# flink-conf.yaml中的YARN HA配置
high-availability: zookeeper
high-availability.zookeeper.quorum: zk1:2181,zk2:2181,zk3:2181
high-availability.storageDir: hdfs:///flink/ha
yarn.application-attempts: 10

注意：在YARN模式下，yarn.application-attempts参数控制着ApplicationMaster（JobManager）的重试次数。这个参数与Flink自身的重启策略需要协调配置。

1.2 Kubernetes的高可用模式：云原生的服务发现

当迁移到Kubernetes时，高可用的实现方式发生了根本变化：

• 服务发现机制：K8s使用自己的服务发现机制，而不是依赖ZooKeeper（虽然ZooKeeper仍然可用）
• 存储抽象：持久化存储通过PersistentVolume（PV）和PersistentVolumeClaim（PVC）抽象
• Pod生命周期管理：K8s的Deployment/StatefulSet控制器负责Pod的自动恢复

Flink 1.10+版本开始支持原生的Kubernetes高可用模式，核心配置如下：

# flink-conf.yaml中的K8s HA配置
high-availability: kubernetes
high-availability.storageDir: file:///data/flink/ha
kubernetes.cluster-id: flink-production-cluster

1.3 关键差异对比表

为了更清晰地展示两种环境的差异，我整理了一个对比表格：

这个表格揭示了迁移时需要关注的核心变化点。在实际迁移中，我们往往需要重新思考存储方案、网络配置和监控体系的集成方式。

2. Per-Job模式在K8s上的特殊挑战与解决方案

Per-Job模式在Kubernetes上的部署有其特殊性。与Session模式不同，每个作业都有自己的专属集群，这带来了一些独特的配置挑战。

2.1 镜像构建策略：单作业 vs 多作业

在YARN上，我们通常将作业JAR包上传到HDFS，然后在提交作业时指定路径。但在K8s的Per-Job模式下，我们需要重新思考作业打包策略。

方案一：作业专属镜像

为每个作业构建独立的Docker镜像，将作业JAR包打包进镜像。这种方式隔离性好，但镜像管理复杂。

# Dockerfile示例：基于官方Flink镜像构建作业专属镜像
FROM flink:1.10.1-scala_2.12

# 添加作业JAR包
ADD target/my-flink-job-1.0.0.jar /opt/flink/usrlib/

# 设置权限
RUN chown -R flink:flink /opt/flink/usrlib

方案二：共享镜像+外部存储

使用基础Flink镜像，通过Init Container或Volume挂载的方式从外部存储加载作业JAR。

# Kubernetes Deployment配置示例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: flink-jobmanager
spec:
  template:
    spec:
      initContainers:
      - name: download-job-jar
        image: busybox
        command: ['sh', '-c', 'wget -O /job-artifacts/my-job.jar https://storage.example.com/jobs/my-job.jar']
        volumeMounts:
        - name: job-artifacts
          mountPath: /job-artifacts
      containers:
      - name: jobmanager
        image: flink:1.10.1-scala_2.12
        volumeMounts:
        - name: job-artifacts
          mou