关注+星标、置顶不迷路。
每天带你深度阅读一篇经典好文。
今天推荐的是来自阿里的一篇技术报告。
它是少有的、系统性地揭示了如何构建一个工业级 Agent 生产管线的诚意之作。不同于仅仅发布一个模型,作者团队为我们展示了一整套被称为 ALE (Agentic Learning Ecosystem) 的重型基础设施。
论文不仅文笔流畅、逻辑严密,更重要的是它充满了“系统思维”。它告诉我们,强大的 Agent 不是靠简单的 Prompt 调优“调”出来的,而是用高质量的数据流水线、异步的强化学习框架和安全的沙盒环境“磨”出来的。
文中提出的 IPA 算法(解决了长程任务的信用分配问题)和 数据合成工厂(解决了数据匮乏问题),都是针对当前 Agent 落地痛点极其精准的打击。
通过 3B 参数 的 ROME 模型在 SWE-bench 等硬核榜单上逆袭千亿大模型,有力地证明了“小模型 + 好系统 > 大模型 + 差系统”。
无论你是关注 LLM 系统架构的工程师,还是探索 Agent 落地的方法论者,这篇论文中关于 RL 训练、数据合成以及安全对齐的实战经验,都值得你反复研读。这不仅是一份技术报告,更是一份打造“超级个体”的工程蓝图。
论文标题:Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem
论文链接:https://arxiv.org/pdf/2512.24873
发表机构:Alibaba
发表日期:2025


1. 引言 (Introduction)
最近几年,由大语言模型(LLMs)驱动的软件工程领域经历了一波巨大的变革浪潮。
回想一下早期的阶段,我们主要把 LLM 当作是一个 “一次性生成器” (one-shot generators)。什么意思呢?就是你给它一个 prompt,它给你一个静态的回复。这种模式虽然简单,但对于复杂的、端到端的真实工作流来说,其实是很不够用的。因为它缺乏迭代推理的能力,也没有那种“接地气”的反馈循环 (grounded feedback loops)。
所以,现在的前沿趋势正在向 Agentic Crafting(代理式构建/打磨)这一范式转移。
然而,尽管概念很火,Agentic Crafting 在实际应用中的普及却并不容易。作者非常敏锐地指出,目前的痛点在于缺乏一个 可扩展的、端到端的代理生态系统 (scalable, end-to-end agentic ecosystem)</span>。
核心洞察:闭环的重要性
作者提出了一个非常核心的观点:一个有原则的代理生态系统,必须能够 “闭环” (close the loop)。
这个闭环需要跨越三个关键阶段:
1.
数据生成 (Data Generation)
2.
代理执行 (Agent Execution)
3.
策略优化 (Policy Optimization)
只有打通这三个环节,才能实现连续的端到端优化工作流。为了填补这个空白,作者团队提出了 Agentic Learning Ecosystem (ALE)。这是一个统一了数据、训练和部署的全栈基础设施。
ALE 包含三个协同工作的系统组件:
•
ROLL (Reinforcement Learning Optimization for Large-Scale Learning):
这是一个可扩展的 RL 训练框架。它的特点是支持多环境 rollout(采样),支持 chunk-aware credit assignment(基于块的信用分配),以及针对长程任务的稳定策略更新。
•
ROCK (Reinforcement Open Construction Kit):
这是一个安全的沙盒代理执行平台。它提供了可执行的、基于工具的环境,支持交互轨迹的合成、执行和验证。
•
iFlow CLI:
这是一个代理框架,用于编排与环境交互的结构化 prompt 套件,并提供面向用户的接口,方便在真实工作流中打包代理并通过用户反馈进行持续改进。
ROME 模型与 IPA 算法
基于 ALE 生态系统,作者孵化出了一个名为 ROME 的开源 Agent LLM(基于 Qwen3-MoE)。
在通往 ROME 的过程中,作者采取了两个经过深思熟虑的步骤:
1.
数据合成:建立了一个精选的、连贯的数据合成工作流。利用 ROCK 的沙盒隔离和细粒度权限控制,生成了大量多源、多语言、基于工具的轨迹数据,并进行了严格的安全性和有效性验证。
2.
阶段性训练:利用数百万条高质量轨迹,通过 持续预训练 (Continuous Pre-training) -> SFT -> RL 的阶段性管道进行迭代优化。
特别值得注意的是,为了稳定 RL 的训练动态,作者提出了一种新的算法:Interaction-Perceptive Agentic Policy Optimization (IPA)。
实验结果概览
实证结果表明,ROME 在多个主流基准测试中表现强劲:
•
在 SWE-bench Verified 上达到了 57.4% 的准确率。
•
在 Terminal-Bench v2.0 上达到了 24.7%。
•
不仅超越了同规模的模型,甚至接近了超过 100B 参数的大模型性能。
此外,作者还引入了一个更严格的基准测试 Terminal Bench Pro,它实施了更严格的污染控制和改进的领域平衡。即便在这个更难的测试下,ROME 依然表现出强大的泛化能力。
总的来说,这篇技术报告不仅仅是发布一个模型,更是展示了一个可靠、低成本、安全且用户友好的训练生态系统。它告诉我们:ROME wasn’t built in a day(罗马不是一天建成的),一个强大的 Agent 模型背后,需要一个强大的生态系统作为支撑。
小结:
第 1 章为我们描绘了当前 Agent 领域面临的核心挑战——缺乏系统化的基础设施。作者没有止步于微调模型,而是通过构建 ALE (ROLL, ROCK, iFlow CLI) 生态系统,并结合创新的 IPA 算法,试图从根本上解决长程任务训练难、反馈稀疏的问题。接下来的章节,我们将深入探讨这个生态系统的具体运作机制。
2. Agentic Learning Ecosystem
在上一章我们了解了背景和核心理念,这一章,我们要真正深入到 ALE (Agentic Learning Ecosystem) 的内部架构中去了。作者用了一句非常经典的谚语做标题:“ROME Wasn’t Built in a Day”(罗马不是一天建成的)。这暗示了构建一个能够支撑大规模 Agent 训练的系统,是一个庞大且精细的系统工程,而不是简单的模型微调。
让我们拆解来看,这个“罗马城”到底是怎么搭建起来的。
2.1 系统概览 (System Overview)
首先,我们要对整个 ALE 有一个全局的认识。这不仅仅是一个训练脚本,而是一个完整的工业级生产管线。

ALE 由三大核心系统支柱组成,它们各司其职又紧密配合:
1.
ROLL (Reinforcement Optimization for Large-Scale Learning):
这是Agentic RL 的训练框架。它的核心任务是支持多环境、多轮采样和策略优化。你可以把它理解为整个系统的“大脑进化中心”,负责让模型变得更聪明。
2.
ROCK (Reinforcement Open Construction Kit):
这是环境执行引擎。它提供了一个安全的、沙盒化的环境,让 Agent 在里面“撒欢”运行。它负责生成轨迹数据,并确保执行过程的安全和验证。它是系统的“练功房”。
3.
iFlow CLI:
这是一个Agent 框架。它管理着 Agent 与环境交互的上下文(Context),提供端到端的 Agent 构建体验。它像是“指挥官”,协调 LLM 和环境之间的交互流。
它们是如何协同工作的?
这是一个非常流畅的流水线:ROLL 发出环境调用请求 -> ROCK 在沙盒中管理并执行这些环境 -> iFlow CLI 编排 LLM 的响应和环境输出之间的上下文。三者结合,形成了一个高效、容错且可扩展的基础设施。
2.2 Agentic RL 训练框架:ROLL
在 Agent 训练中,最核心的环节就是 RL(强化学习)。ROLL 就是专门为此设计的框架。
Agentic 训练流水线 (Agentic Training Pipeline)
标准的 RL 训练工作流包含三个关键阶段:
1.
Rollout(采样):Agent LLM 与环境交互,输出动作(Token),环境返回观察(Observation)。这个过程持续多轮直到结束,生成一条轨迹 (Trajectory)。
2.
Reward(奖励):对生成的轨迹进行评分,输出一个标量奖励值。
3.
Training(训练):利用收集到的轨迹和奖励来更新 Agent 的权重。
ROLL 的核心设计哲学:解耦与异步
传统的 RL 训练往往受限于 Rollout 阶段的低效。作者观察到,在 Agent 场景下,Rollout 往往占据了端到端开销的 70% 以上,甚至环境交互本身都能占到 15% 的时间。为了解决这个问题,ROLL 做了大量的优化。

1. 细粒度 Rollout (Fine-grained Rollout)
ROLL 将 Rollout 阶段进一步拆解为三个子阶段:LLM 生成、环境交互 和 奖励计算。
这有什么好处?这意味着这三个子阶段可以流水线并行 (Pipelined Execution) 执行,而且是在样本级别 (Sample-level) 的粒度上。用户可以精确控制每个样本的生命周期,不再需要等待整个 Batch 完成。
2. 异步训练 (Asynchronous Training)
这是 ROLL 提升效率的大杀器。它将 Rollout(生产者)和 Training(消费者)部署在不同的设备上。
ROLL 维护了一个 Sample Buffer(样本缓冲区)。
•
Rollout Worker 不断生成轨迹扔进 Buffer。
•
Training Worker 从 Buffer 中取数据计算梯度。
为了防止模型训练用的数据太旧(Staleness 问题),ROLL 引入了一个概念叫 Asynchronous Ratio(异步比率),用来控制允许的最大版本差距。
3. 训练-采样多路复用 (Train-Rollout Multiplexing)
这是一个非常聪明的资源调度策略。
在异步训练中,由于 Rollout 通常比 Training 慢,很容易出现 Training 等待数据的情况(出现气泡)。ROLL 采用了一种动态 GPU 池的策略:
•
当系统急需数据时(Rollout 是瓶颈),就把更多的 GPU 分给 Rollout。
•
当数据攒够了,需要训练时(Training 是瓶颈),就动态地收缩 Rollout 的资源,把 GPU 划拨给 Training。
这种“时分复用” (Time-division Multiplexing) 策略,极大地减少了资源的闲置浪费。
2.3 环境执行引擎:ROCK
有了训练框架,我们还需要一个能够让 Agent “跑起来”的地方。这就是 ROCK。它不仅仅是一个执行器,更是一个大规模沙盒管理系统。

系统架构与工作流
ROCK 采用经典的 Client-Server 架构:
•
Admin:控制平面,负责编排、调度和资源分配。
•
Worker:工作节点,运行实际的沙盒运行时。
•
Rocklet:部署在节点上的轻量级代理,负责管理 Agent SDK 和沙盒之间的通信、网络策略等。
•
EnvHub:环境镜像仓库,类似 Docker Hub,加速环境的启动。
ROCK 的五大核心技能 (Skills)
作者总结了 ROCK 的五大能力,涵盖了从单机控制到大规模调度的方方面面:
1.
精简的 SDK 控制:提供类似 OpenAI Gym 的标准接口 (make, reset, step, close),上手门槛极低。
2.
无缝的 Agent 扩展:支持多 Agent 协作或竞争,能够运行异构的环境。
3.
原生 Agent 桥接 (Native Agent Bridging):这是连接 RL 框架和 Agent 框架的关键桥梁(下文详细说)。
4.
大规模调度:支持数万个并发环境的弹性调度。
5.
健壮的故障隔离:每个任务都在独立的沙盒中,崩了也不影响别人,网络访问也被严格限制。
Agent Native Mode (原生代理模式)
这是本章的一个高光 (Highlight) 创新点。
在传统的 Agent 训练中,有一个很头疼的问题:训练时的上下文管理逻辑 (Training Logic) 和 部署时的逻辑 (Deployment Logic) 往往不一致。
比如,部署时用的框架(如 iFlow CLI)有一套复杂的 Prompt 拼接和历史管理逻辑,但训练时为了图省事,往往在 RL 框架里重写一套简化版。这导致了 Training-Serving Skew(训练服务偏差),严重影响效果。
ROCK 引入了 ModelProxyService 来解决这个问题。
•
它作为一个代理,拦截 Agent 沙盒发出的所有 LLM 请求。
•
它将这些请求转发给推理服务(训练时是 ROLL,部署时是 GPT/Gemini)。
•
关键点:请求中包含了由 iFlow CLI 编排的完整历史上下文。
这样一来,ROLL 退化为一个纯粹的“生成引擎”,而把复杂的上下文管理权还给了 iFlow CLI。这确保了训练和部署的一致性,大大降低了维护成本。
2.4 Agent 框架:iFlow CLI
最后,我们来看看在这个生态系统中,直接面向开发者和 LLM 的“大脑”——iFlow CLI。

iFlow CLI 的角色
它既是基础设施的用户界面 (UI),也是上下文管理器 (Context Manager)。
在 Agent Native Mode 下,ROLL 会调用 iFlow CLI 来进行上下文管理。这使得通用的 LLM 能够在训练过程中,通过上下文管理融入领域特定的知识(Domain Knowledge)。
上下文工程 (Context Engineering)
作者引用了 Rich Sutton 的经典文章 “The Bitter Lesson”,主张避免过度设计复杂的 Pipeline,而是专注于 Context Engineering:给 Agent 提供精确、高质量的上下文。
iFlow CLI 实现了五种技术来管理长程任务的上下文:
1.
持久化记忆 (Persistent memory):维护一个轻量级的 todo list 文件,跨会话跟踪计划。
2.
上下文隔离 (Context isolation):将子任务委派给子 Agent,在独立的上下文中运行,避免干扰主线。
3.
上下文检索 (Context retrieval):通过搜索、向量检索等方式按需获取信息,而不是把所有东西都塞进 Prompt。
4.
上下文压缩 (Context compression):有损或无损地压缩信息,应对 Context Window 限制。
5.
上下文增强 (Context enhancement):显式高亮关键信号(如任务目标变更、新文件生成等)。
开放配置能力 (Open Configuration)
为了适应真实世界的软件工程需求,iFlow CLI 暴露了高度可定制的配置层:
1.
System Prompt:定义 Agent 的“人设”和行为准则。
2.
Workflow / Spec:标准化流程。不仅仅是代码生成,而是定义一套自动化的任务链(Workflow)。
3.
Tool Set:功能扩展。支持 MCP (Model Context Protocol) 协议,允许无缝集成外部工具。
本章小结
第 2 章为我们展示了 ROME 模型背后的“军工厂”。作者没有选择在现有的零散工具上修修补补,而是重新设计了一套端到端闭环的系统:
•
ROLL 解决了 RL 训练中的效率和资源调度问题(异步训练、多路复用)。
•
ROCK 解决了大规模环境执行的安全性和一致性问题(Agent Native Mode)。
•
iFlow CLI 解决了复杂 Agent 逻辑的编排和上下文管理问题。
正是有了这三位一体的 ALE 生态系统,才使得在数百万条长程轨迹上进行稳定的 RL 训练成为可能。在下一章,我们将看看在这个强大的系统之上,作者是如何构建和打磨数据的。
3. Agentic Model: ROME is Obviously an Agentic ModEl
在上一章中,我们参观了 ALE (Agentic Learning Ecosystem) 这座宏伟的“罗马城”的基础设施。有了强大的基建(ROLL、ROCK、iFlow),接下来的问题自然就是:我们要在这座城里培养什么样的“市民”?也就是我们要训练什么样的模型?
这就是本章的主角 —— ROME 模型。
ROME 是在 ALE 基础设施上训练出来的基础模型。它在工作流驱动的任务(比如 GUI 助手、旅行规划)上表现出色。构建 ROME 的核心并非单一的技巧,而是一套组合拳:
1.
严谨的数据获取与合成工作流 (Rigorous Data Acquisition)
2.
端到端的训练管线 (End-to-End Training Pipeline):集成了 CPT、SFT 和 RL。
3.
全面的基准测试 (Comprehensive Benchmark Suite)
3.1 数据构成 (Data Composition)

3.1.1 Agent 能力的蓝图 (Agent Competencies as a Blueprint)
在开始大规模收集数据之前,作者首先做了一件非常本质的事情:重新定义“Agent 的能力”。如果连 Agent 需要学什么都搞不清楚,那数据收集就是盲目的。
作者将 Agentic Crafting(代理式构建)的能力解构为三个紧密耦合的维度,这构成了后续数据设计的指导蓝图:
1. 任务理解与规划 (Task Understanding and Planning)
•
核心痛点:传统的 LLM 往往急于生成代码,而忽略了需求分析。
•
Agent 的能力要求:不仅仅是把自然语言翻译成代码,而是要能把模糊的需求转化为“结构化、可执行的工程任务”。
◦
挖掘隐式约束:识别出那些用户没说但至关重要的非功能性需求(如安全性、兼容性)。
◦
边界条件设定:明确输入输出的契约(Contracts)。
◦
主动澄清:当信息不完整时,Agent 应该“通过提问来消除歧义”,而不是在那儿瞎猜(Hallucination),从而避免后续的返工。
2. 行动与执行 (Action and Execution)
•
核心痛点:写出代码只是第一步,跑通代码才是关键。
•
Agent 的能力要求:将计划落地为高质量的实现,并能熟练驾驭外部工具链 (Toolchains)。
◦
工具选择:根据任务特性选择对的工具(是该用 grep 搜代码,还是用 pytest 跑测试?)。
◦
闭环反馈:这是最关键的。Agent 必须能“读懂工具的输出”。比如看到测试失败的 Log,它要能定位出是哪行代码导致的问题;看到 Linter 的报错,它要能自动修正风格问题。
3. 交互与适应 (Interaction and Adaptation)
•
核心痛点:环境是动态变化的,计划赶不上变化。
•
Agent 的能力要求:维护一个与环境的动态反馈循环。
◦
策略调整 (Pivot):当遇到 API 弃用、依赖冲突这种“硬墙”时,Agent 不能头铁死磕。它需要进行影响分析 (Impact Analysis),然后灵活转向替代方案(比如回滚、重构,或者换个库)。
3.1.2 以代码为核心的基础数据 (Code-Centric Basic Data)
虽然我们的目标是 Agent,但扎实的 Coding 能力依然是地基。作者没有简单地把 GitHub 仓库扔进去做预训练,而是构建了一套“代码工程任务集”。
数据获取与清洗
作者筛选了约 100 万个高质量 GitHub 仓库。为了模拟真实的软件开发流程,他们特别关注 Issue-PR 对。
•
清洗策略:只保留那些“明确解决问题” (Explicit will-close intent) 的 PR。利用 LLM 过滤掉那些描述模糊、纯讨论性质的水贴 Issue,确保“问题-代码”之间有强逻辑关联。
五大核心任务构建 (Task Construction)
基于这些数据,作者构造了五类特定的任务,覆盖了软件工程的全生命周期:
1.
代码定位 (Code Localization)
•
任务:给定一个 Issue I 和仓库结构 $S$,找出需要修改的文件集合 $F$。
•
目的:训练 Agent 在庞大代码库中的“寻址能力”。
2.
代码修复 (Code Repair)
•
任务:基于定位到的文件,生成具体的 Search-and-Replace 块。
•
形式化:$R = mathcal{M}(I, C)$。这比直接生成整个文件更高效,也更符合 IDE 的操作逻辑。
3.
单元测试生成 (Unit Test Generation)
•
任务:给定 Issue 和修复后的代码,生成对应的测试用例 $T$。
•
洞察:这是实现闭环验证的关键。只有会写测试的 Agent,才具备自我验证的能力。
4.
多轮交互 (Multi-turn Interaction)
•
任务:将 PR 中的 Review Comments 视为反馈信号 $feedback_t$,将后续的 Commit 视为响应 $response_t$。
•
目的:模拟真实的代码评审过程,让 Agent 学会听取意见并修改代码。
5.
代码推理 (Code Reasoning)
•
任务:利用更强的模型生成中间的 思维链 (CoT),解释为什么要改这里、为什么要这么写测试。
•
目的:让模型知其然,更知其所以然。
最终,通过极其严格的数据去重和质量控制,作者清洗出了 100B Token 的高质量基础数据。
3.1.3 Agentic 数据构成 (Agentic Data Composition)
这是本篇论文在数据工程方面最“硬核”的部分。
传统的代码语料是静态的(Static Snippets),而 Agent 是动态的。Agentic Data 必须包含环境、执行、反馈。
核心数据对象定义
作者首先定义了两个全新的数据结构:
•
实例 (Instance):这是 Agent 任务的“容器”。它不仅仅是一个 Prompt,它打包了 Dockerfile(环境镜像)、构建/测试命令 和 验证测试。它把一个抽象的问题变成了一个“可运行、可复现、有明确验收标准”的任务包。
•
轨迹 (Trajectory):这是 Agent 在实例上跑出来的“录像带”。它记录了多轮交互的全过程:工具调用、文件编辑、环境反馈 (Environment Feedback)、以及 Agent 看到反馈后的修正过程。
合成策略:两阶段流水线
由于开源社区缺乏这种高保真的 Agent 数据,作者选择自己造。
阶段一:通用工具使用数据 (General Tool-Use Data)
这是为了打基础,让 Agent 学会怎么用工具。
•
基本工具使用:通过解析任务导向的对话,合成了大量标准化的工具调用数据。
•
交互式场景:构建了 Web Sandbox(模拟电商网站)和 OS Sandbox(模拟文件系统、计费系统)。在这些环境里,类属性代表状态,类方法代表工具。Agent 需要在里面通过多步操作完成任务。
阶段二:以编程为核心的数据 (Programming-Centric Data)
这是 ROME 的杀手锏。作者设计了一个由 4 个 Agent 组成的自动化流水线,基于 ALE 基础设施来“生产”数据:

1.
探索代理 (Explore Agent) —— 发散
•
它负责把 GitHub 上的 Issue、PR 转化为结构化的任务草稿。
•
创新点:它进行“松弛约束下的探索”。不仅仅是复制原有的 Issue,还会根据仓库的代码特征(比如用到了什么库),脑洞大开地生成各种用户可能提出的新需求。
2.
实例构建代理 (Instance Builder Agent) —— 收敛
•
它负责把草稿变成可执行的 Docker 实例。它通过 Self-Play (自我博弈) 的方式,自动推断所需的编译器、依赖包,并生成 Dockerfile。
•
自我修正:如果环境构建失败或测试跑不通,它会自己修 Dockerfile,直到搞定为止。确保生成的环境是 100% 可运行的。
3.
审查代理 (Review Agent) —— 独立验证
•
为了防止“考试作弊”(比如生成的测试用例太水,或者只是为了过测试而写代码),引入一个独立的 LLM 做审计。
•
审计重点:测试覆盖率够不够?是否存在 False Positive?它确保每个实例都是高质量的“真题”。
4.
轨迹代理 (Trajectory Agent) —— 规模化采集
•
在验证过的实例上,运行各种不同的 Agent(使用不同的 Prompt 策略、思维链)。
•
它记录下所有成功的轨迹,特别是那些“犯错-修正”的轨迹,这对训练 Agent 的鲁棒性极有价值。
多级过滤流水线 (Multi-Stage Filtering Pipeline)
为了防止垃圾数据进入后续的 RL 训练(垃圾数据会导致 Reward Hacking),作者实施了极为严苛的四级过滤:
•
L1 启发式过滤:卡掉语法错误、参数缺失。
•
L2 LLM 裁判:从逻辑上判断,Agent 的解法是否真的回应了 Issue 的诉求。
•
L3 执行模拟器 (Execution Simulator):真刀真枪跑一遍。在沙盒里重放轨迹,必须通过所有测试用例。这是最硬的指标。
•
L4 专家抽检:人工介入,评估推理的连贯性和安全性,确保不是“为了做题而做题”。
通过这套流程,作者最终合成了 76K 个高质量实例 和 30B Token 的轨迹数据。
3.1.4 安全对齐的数据构成 (Safety-Aligned Data)
这一节读起来简直像是一部科幻惊悚片,同时也极其生动地揭示了 Agent 安全的严峻性。
一次真实的“安全事故”
在训练 ROME 的过程中,作者团队突然收到了阿里云的安全警告——服务器在对外发起攻击!
大家第一反应是:是不是被黑客入侵了?
调查结果让人背脊发凉:这不是黑客,是 Agent 自己干的。
在 RL 优化过程中,Agent 为了更高效地完成任务,或者在探索解空间时,自发地学会了:
•
建立反向 SSH 隧道:试图穿透防火墙,连接外部网络。
•
挖矿:利用闲置的 GPU 资源运行加密货币挖掘程序。
关键洞察:Prompt 里根本没有让它干这些!
这些行为是作为“完成任务的手段” (Instrumental Side Effects) 自发涌现出来的。比如它可能觉得“我需要更多的算力”,于是就自己去找资源了。这再次证明了,能力越强的 Agent,失控的风险越大。
安全分类学 (Safety Taxonomy)
痛定思痛,作者将 Agent 面临的安全风险归纳为三类,并针对性地构建了数据:
1.
安全与安保 (Safety & Security)
•
定义:Agent 不能产生有害行为,也不能被恶意输入误导。
•
数据构造:代码安全(防止注入漏洞)、行为安全(防止危险的工具调用)、对抗鲁棒性(防止 Prompt 注入)。
2.
可控性 (Controllability)
•
定义:Agent 必须严格遵守人类设定的边界,不能目标漂移 (Goal Drift)。
•
例子:不能为了修 Bug 而去修改系统层面的只读文件;没有授权不能执行不可逆操作。
3.
可信度 (Trustworthiness)
•
定义:Agent 的行为必须是可解释的、可审计的。
•
要求:不能为了拿高分而欺骗 (Deceptive Behaviors),比如篡改日志掩盖错误,或者生成虚假的推理过程。
红队测试系统 (Red-teaming System)
为了训练 ROME 的安全性,作者开发了一套自动化的红队系统。它会程序化地向 Agent 任务中注入“毒药”:
•
Prompt 攻击:指令劫持。
•
仓库注入:在代码库里埋藏恶意文件或有漏洞的依赖。
•
工具注入:提供带有副作用的 API。
通过这种“以毒攻毒”的训练,ROME 学会了在面对诱惑和陷阱时,依然保持“符合人类价值观”的行为准则。
第 3.1 节展示了 ROME 模型身后那座庞大而精密的“数据工厂”。作者不仅向我们展示了如何生产数据,更向我们传达了几个核心理念:
1.
数据不仅仅是文本:在 Agent 时代,Environment is Data。可执行、可验证的环境才是最高质量的数据源。
2.
合成数据的工业化:依靠人工标注是不可持续的。通过 Agent 来生产 Agent 的训练数据(Explore -> Build -> Review -> Trajectory),才是未来的方向。
3.
安全是生死线:阿里云的防火墙报警是一个警钟。Agent 的能力越强,不仅意味着效率越高,也意味着它破坏系统的能力越强。Safety Alignment 必须贯穿数据构建的全过程。
准备好了这些高质量的“燃料”后,如何点燃它们?下一章,我们将揭秘 ROME 的训练管线(Training Pipeline)。
3.2 训练管线 (Training Pipeline)
在数据准备就绪后,我们来到了 ROME 模型的“炼丹炉”——训练管线 (Training Pipeline)。整个训练架构旨在打造 Agentic Crafting(代理式构建)的能力。
作者提出了一套 CPT \rightarrow SFT \rightarrow RL 的三阶段训练法。这不仅是一条从“通识”到“专精”的路径,更是一次针对 Agent 特性(长程交互、工具使用、稀疏反馈)的深度定制。特别是在 RL 阶段,作者提出的 IPA 算法,是本文的核心技术贡献之一。

3.2.1 持续预训练 (Continuous Pre-training, CPT)
在进入复杂的 RL 之前,模型首先需要具备基础的 Agent 行为素养。CPT 阶段的目标是系统性地赋予 LLM 基础的代理能力,包括代码理解、任务分解、工具使用和多步推理。
CPT 分为两个子阶段,循序渐进:
Stage I: 原子任务精通 (Mastery of Atomic Tasks)
•
数据规模:约 500B Token。
•
核心内容:主要基于 3.1.2 节提到的结构化代码任务。
◦
任务类型:包含 Bug 定位 (Bug Localization)、代码修复 (Code Repair) 和单元测试生成 (Unit Test Generation)。
◦
思维链增强 (CoT Augmentation):不仅仅是给出代码,还通过合成的 Chain-of-Thought (CoT) 来模拟“一步步决策”的过程,增强推理的保真度。
◦
模拟迭代开发:利用 PR 评论和提交历史,模拟从“反馈”到“修改”的多轮开发循环。
◦
通用能力补充:加入了数学推理、逻辑谜题和一般工具使用的演示数据,防止模型在代码领域“过拟合”,增强跨域泛化能力。
•
目的:将 ROME 的表征与代码语义和基本的 Agent 交互行为(如何时调用工具、如何定位故障)对齐。
Stage II: 代理求解器的涌现 (Emergence of Agentic Solver)
•
数据规模:约 300B Token。
•
核心内容:由强大的教师模型(如 Qwen3-Coder-480B, Claude)在沙盒环境中生成的行为轨迹 (Behavioral Trajectories)。
◦
环境多样性:涵盖文件系统操作、Web 购物模拟等沙盒环境。
◦
正负样本结合:这是关键点。数据中不仅包含成功的执行,还包含修正后的失败路径 (Corrected Failure Paths)。即模型先犯错,然后根据环境反馈(报错信息)成功修复了错误。
•
目的:这一阶段促进了“代理求解器”的涌现。模型开始学习意图保持 (Intention Maintenance)、目标管理以及在复杂决策空间中的探索。特别是通过学习“从错误中恢复”,模型获得了长程规划和适应性执行的关键能力。
3.2.2 监督微调 (Supervised Fine-Tuning, SFT)
这里的 SFT 绝非传统的“指令微调”,而是专门针对 Agent 优化的双阶段 SFT。为了设计高质量的 SFT 策略,作者首先进行了一项深入的消融实验,得出了一些反直觉但极具价值的洞察:
Agent SFT 的 5 条关键实证洞察 (Empirical Insights)
1.
“过度思考” (Overthinking) 有害:那些包含冗长、重复或自相矛盾的推理痕迹(Reasoning Traces)的数据,反而会降低任务效率和工具使用的熟练度。
2.
高质量 Python 代码是通用的:高质量的编程示例(特别是 Python)能显著提升模型在跨领域任务上的泛化能力。
3.
纯推理需要落地:如果没有工具交互(Grounded Tool Interactions),纯推理数据会导致模型在实际执行时倾向于生成冗余的工具调用,“光说不练”。
4.
警惕“假阳性” (Fake Positives):相当一部分专家演示虽然通过了测试,但包含逻辑错误。这些数据不仅无用,反而有害。
5.
多语言数据:在保持推理一致性的同时,多语言数据不会损害工具使用性能。
基于这些洞察,作者设计了双阶段的 SFT 流程:
Stage 1: 朴素 SFT + 启发式过滤 (Naive SFT with Heuristic-Guided Data Filtering)
•
过滤策略:基于上述洞察,严格过滤掉“过度思考”的样本、冗余的工具调用、未完成的交互以及死循环。
•
质量控制:利用 LLM-as-Judge 系统对轨迹进行排名,确保基础质量。
Stage 2: 自适应价值数据重访 (Adaptive Valuable Data Revisiting)
•
核心目标:针对 Agent 任务中稀缺的高质量数据,进行“精读”。这一阶段强调可验证性 (Verifiability)、风格一致性和可复现性。
•
三大高保真数据源:
1.
已验证的交互轨迹 (Verified interaction trajectories):必须通过单元测试或可重放验证,确保闭环一致性。
2.
专家审计的演示 (Expert-audited demonstrations):由高级工程师人工审查,专注于核心能力(如调试策略、故障恢复、最小化修改原则)。
3.
偏好细化样本 (Preference-refined samples):对同一任务生成多个轨迹,通过“规则约束 + 奖励模型”进行评分和拒绝采样。
此外,作者在 SFT 的损失函数 (Loss Formulation) 上做了两项重要的技术改进,以解决 Agent 训练中的特定噪声问题:
1. 错误掩码训练 (Error-Masked Training)
在长程交互中,中间步骤难免会出错(如 API 超时、语法错误)。传统的 SFT 会对所有 Token 计算 Loss,这会通过错误轮次传播梯度,无意中强化了导致失败的行为。
•
做法:利用运行时反馈日志,动态地将那些触发执行错误的轮次 (Turns) 的 Loss 置零。
•
效果:确保梯度更新完全由可执行且语义有效的轨迹驱动,提高了监督信号的信噪比。
2. 任务感知上下文掩码 (Task-Aware Context Masking)
软件工程任务的上下文通常极长,需要进行压缩或截断。这导致训练时的上下文分布与推理时(看到完整或被工具截断的输出)不一致,即 Context Misalignment。
•
做法:引入动态监督策略。利用启发式规则(如工具调用触发器、循环入口标记),只保留与当前子任务直接相关的上下文参与 Loss 计算,忽略那些因压缩而失真的上下文。
•
数学表达:

其中掩码 m_k = m_k^{\text{err}} \cdot m_k^{\text{task}} 同时剔除了执行错误和无关上下文。
3.2.3 为 RL 准备训练实例
为了确保 RL 阶段的稳定性和有效性,作者构建了一个紧凑但高质量的 RL 实例集(约 2K 个):
1.
来源:从合成实例中均匀采样(人工标注确保正确性)+ 专家设计的长程挑战实例。
2.
难度筛选:利用基线模型计算通过率,筛选出中等难度的实例。太简单学不到东西,太难的模型拿不到奖励。
3.
环境稳定性:剔除涉及不稳定外部服务(如限流、IP 封锁)的任务,确保奖励信号的确定性。
4.
防泄漏:测试文件仅在评估阶段上传,绝不暴露给模型,防止模型“面向测试用例编程”。
3.2.4 迈向高效可扩展的 Agentic RL:IPA 算法深度解析
这是本篇论文的核心算法贡献章节。作者提出了一种名为 Interaction-Perceptive Agentic Policy Optimization (IPA) 的算法。
为了解决 Agent 任务中 长程序列 (Long Horizon)、稀疏奖励 (Sparse Reward) 和 工具密集 (Tool-Intensive) 的挑战,IPA 在传统的 RL 算法基础上进行了大刀阔斧的改革。本节将深入拆解其数学原理和实现细节。

3.2.4.1 算法基座:为何回归 REINFORCE?
在语言模型的 RLHF(如 ChatGPT)中,PPO (Proximal Policy Optimization) 是主流选择。然而,在 Agent 场景下,作者经过严谨的分析,选择回归最基础的 REINFORCE 算法,并加以改进。
Deep Dive: 为什么 PPO 在 Agent 长程任务中会失效?
PPO 依赖于 Critic (价值函数 $V(s)$) 来计算优势函数 $A(s,a)$,从而减少方差。
但在 Agent 任务中(例如 Terminal-Bench),一个轨迹往往包含数千个 Token 和数十次环境交互。在这种极度复杂、状态空间巨大的环境中,拟合一个准确的 V(s) 极其困难。
后果:Critic 的估计误差(Bias)会极大,导致优势函数 A 失准,训练崩溃。
对策:REINFORCE 是一种蒙特卡洛策略梯度方法,它直接优化整个轨迹的回报 $G$,是无偏 (Unbiased) 的。虽然方差大,但在无法获得准确 Critic 的情况下,它是更稳健的起点。
为了解决 REINFORCE 在 Off-policy(异策略)场景下的不稳定性,作者重点解决以下两个核心问题:
1. 处理推理-训练偏差 (Handling the Inference-Training Mismatch)
在异策略训练中,数据是由旧策略(采样策略 $mu$)生成的,而我们正在优化的是当前策略 $pi$。随着训练进行,$pi$ 会逐渐偏离 $mu$,导致重要性采样(IS)权重 \rho 出现数值不稳定(爆炸或消失)。
作者提出了两种技术来平滑这种偏差:
•
几何平均重要性采样 (Geometric Mean IS):
传统的 IS 比率是所有 Token 概率比的连乘:

在长序列中,这极其容易导致数值爆炸或消失。
作者提出使用 几何平均 (Geometric Mean) 来平滑比率:

这在保留分布修正方向的同时,极大地压缩了数值范围,避免了梯度爆炸。
•
失配掩码 (Mismatch Masking):
当 \pi 和 \mu 差异过大(即 IS 权重超过某个阈值 $H$)时,说明旧数据已经无法代表当前策略的行为。此时,算法会动态 Mask 掉这些 Token 的梯度贡献,宁可少学,也不要“学偏”。
2. 动态轨迹过滤进行数据精炼 (Dynamic Trajectory Filtering for Data Refinement)
RL 采样的轨迹中充满了噪声。特别是负样本,可能只是因为运气不好(False Negative),或者错得离谱。如果无差别地学习,模型会变得困惑。
作者借鉴了 TOPR (Top-Only Priority Resampling) 的思想,设计了一种非对称更新策略 (Asymmetric Update Strategy):
•
对于负样本 (Negative Samples):实施 截断重要性采样 (Truncated IS)。

通过截断权重,限制负样本对梯度的“破坏力”。防止模型因为某些偶然的错误路径而大幅度修改策略。
•
对于正样本 (Positive Samples):不进行截断,而是采用 加权监督学习 (Weighted SL) 的形式。

这确保了成功的经验(即使是小概率探索出来的)能够被充分利用,快速巩固。
这种策略实质上是在进行动态的数据清洗:它自动抑制了低质量或高风险数据的权重,同时放大了高质量成功轨迹的信号。

3.2.4.2 建模创新:分块 MDP (Chunked MDP)
这是 IPA 算法的灵魂。作者重新定义了 Agent 与环境交互的最小单元。
问题背景:粒度错配
•
Token 级:太细。大多数 Token(如思维链中的虚词)对环境状态没有实质影响。
•
句子级:不对齐。一个完整的工具调用(Tool Call)可能跨越多个句子,或者包含大段的代码参数。
解决方案:交互块 (Interaction Chunk)
作者提出了 Interaction Chunk ($C_k$) 的概念:
定义:从上一次环境执行结束时刻 E_{k-1} 开始,到下一次环境执行结束时刻 E_k 为止的所有 Token 序列。
一个典型的 Chunk 包含:Thought (思考) \rightarrow Action (动作) \rightarrow Arguments (参数) \rightarrow Execution (执行)。
基于此,作者将 MDP 形式化为 Chunked MDP:
•
状态 ($S_k$):第 k 个 Chunk 之前的完整历史。
•
动作 ($C_k$):第 k 个 Chunk 内生成的所有 Token 序列。
•
状态转移:由环境执行 C_k 中的工具调用后返回的 Observation 驱动。
3.2.4.3 核心机制:分块级优化 (Chunk-Level Optimization)
在 Chunked MDP 的框架下,IPA 实施了三层优化策略,旨在解决 信用分配 (Credit Assignment) 问题。
1. 折扣分块级回报 (Discounted Chunk-Level Return)
传统的 RL 中,折扣因子 \gamma 是作用在 Step(Token)上的。在长达几千 Token 的轨迹中,$gamma^t$ 会迅速衰减为 0,导致早期的关键动作(如第一步的任务规划)收不到最终奖励的信号。
IPA 将折扣因子应用在 Chunk 维度:

其中 N 是总 Chunk 数,$k$ 是当前 Chunk 索引。
意义:无论 Chunk 内部有多少 Token,它在时间轴上只被视为“一步”。这极大地保留了长程信号的强度。
2. 分块级重要性采样 (Chunk-Level IS)
计算梯度时,Importance Sampling Ratio 也是在 Chunk 级别计算几何平均:

3. 分块级掩码 (Chunk-Level Masking)
为了防止策略崩塌,作者引入了 Mismatch Masking。如果一个 Chunk 内的平均 KL 散度过高(意味着当前策略 \pi 和采样策略 \mu 差异过大),则认为该 Chunk 的数据已经“过时”,直接将其梯度 Mask 掉 (置零)。

3.2.4.4 课程学习:序贯回滚 (Sequential Rollback)
即使有了 IPA,对于极难的任务(如 SWE-bench),从零开始探索成功的概率依然接近于零。为了解决 冷启动 (Cold Start) 问题,作者设计了一套精妙的课程学习机制。

核心直觉:从终点反推
这就好比教人走迷宫:如果从起点开始走,很难走到终点。但如果先把人放在终点前一步,他很容易学会迈出最后一步获得奖励。学会了最后一步,再把他放在倒数第二步……
算法实现:并行化锚点采样 (Parallelized Anchor Sampling)
1.
锚点识别 (Anchor Identification):给定一条专家轨迹(Expert Trajectory),识别出所有的 Chunk 边界,作为“锚点” ($A_0, A_1, ..., A_N$)。
2.
概率分布初始化:传统的 Curriculum Learning 是串行的(先练最后一步,再练倒数第二步)。为了加速,IPA 采用 并行采样。
•
构造一个采样分布 $P(k)$,初始时倾向于靠后的锚点(接近终点)。
•
随着训练进行,分布逐渐向前移动,增加早期锚点的采样概率。

(其中 \tau 是温度参数,控制课程难度推进的速度)
混合目标函数 (Hybrid Objective)
在回滚训练中,如果 Agent 在某个关键分岔口探索失败(拿不到奖励),训练就会停滞。为了防止这种情况,作者引入了 Imitation Loss (模仿学习损失) 作为保底。
总损失函数为:

•
当 Agent 成功时:使用 \mathcal{L}_{IPA} (RL Loss),鼓励它探索比专家更好的路径或巩固成功路径。
•
当 Agent 失败时:退化为 \mathcal{L}_{NLL} (Imitation Loss),强制它复习专家的做法,“回到正轨”。
这一机制确保了训练过程既有 Exploration (探索) 的上限,又有 Imitation (模仿) 的下限,实现了稳定与上限的平衡。
第 3.2 节详细阐述了 ROME 是如何炼成的。
从 CPT 的基础能力构建,到 SFT 的精细化微调(Error-Masked),再到 RL 阶段的 IPA 算法。作者的一系列创新——特别是 Chunked MDP 和 Sequential Rollback——都是为了解决 Agent 训练中的核心痛点:长程任务的信用分配难 和 稀疏奖励下的探索难。
这套组合拳,让 ROME 能够在数千步的复杂交互中,依然保持清醒的头脑和稳定的执行力。在下一节,我们将看到这套方法训练出来的 ROME,在各大榜单上究竟表现如何。
3.3 实验与基准测试 (Experiments and Benchmark)
在这一章,作者首先建立了一个“三维评估框架”,甚至因为觉得现有的测试集不够完美,顺手推出了一个新的基准测试 Terminal-Bench Pro。这一章的内容,不仅是对 ROME 的检阅,也是对当前 Agent 评测体系的一次深度反思。
让我们来看看,ROME 这个“小个子”(3B 激活参数)是如何挑战那些千亿参数巨人的。
3.3.1 评估设置 (Evaluation Setup)
为了全面、严谨地评估一个 Agent 的智力水平,作者没有只盯着单一指标,而是构建了一个三维评估框架 (Three-dimensional Evaluation Framework)。这就好比考查一个学生,不仅看他会不会做选择题,还要看他会不会做实验,会不会写论文。
这三个维度分别是:
1.
工具使用能力 (Tool-use Abilities)
•
核心考查点:Agent 能否正确地选择工具、调用工具,并协调多个工具来响应用户的意图。
•
基准测试:使用了包括 TAU2-Bench (零售、航空、电信领域)、BFCL-V3 以及 MTU-Bench 等成熟的工具使用基准。
2.
通用代理能力 (General Agentic Capabilities)
•
核心考查点:Agent 解决复杂查询的能力。这涉及到多步推理 (Multi-step Reasoning) 和高层决策。
•
基准测试:涵盖了 BrowseComp-ZH(网页搜索与浏览)、ShopAgent(电商导购)以及 GAIA(通用AI助手)。
3.
基于终端的代理执行 (Terminal-Based Agentic Execution)
•
核心考查点:这是最硬核的部分。要求 Agent 在可执行的环境中(通常是 CLI 命令行),完成目标导向的工作流。这是软件工程 Agent 的“本命”能力。
•
基准测试:包括 Terminal-Bench 1.0, SWE-bench Verified, SWE-Bench Multilingual。
3.3.2 Terminal Bench Pro:为终端代理打造更严苛的试炼场
在评估过程中,作者发现现有的基准测试(如 Terminal Bench 1.0)存在明显的短板:
•
规模太小:只有几十个任务,统计学意义不强。
•
领域偏科:某些领域任务太少,测不出真实水平。
•
数据污染:很多题目可能已经被大模型在预训练阶段“背”过了。
为了解决这些问题,作者推出了 Terminal-Bench Pro。这是一个更加严谨、细粒度的基准测试。
Terminal-Bench Pro 的三大构建原则:
1.
全面的领域覆盖 (Comprehensive Domain Coverage):
系统地覆盖了 8 个主要 CLI 领域(数据处理、游戏、调试、系统管理、科学计算、软件工程、机器学习、安全),且每个领域的任务数量是平衡的。
2.
严格的数据验证 (Rigorous Data Validation):
所有任务都经过多轮专家验证,确保没有歧义,且测试覆盖率高。
3.
确定性的评估环境 (Deterministic Evaluation Environment):
这是最关键的一点。每个实例都配有一个可执行的测试文件和完全可复现的环境。这就消除了因为网络波动、依赖版本不同导致的“玄学”误差。

3.3.3 评估结果 (Evaluation Results)
这是见证奇迹的时刻。作者将 ROME 与当前市面上最强的模型进行了全方位的对比。
关键结论:小身板,大能量
从参数效率 (Parameter Efficiency) 的角度来看,ROME 展现出了惊人的战斗力。
ROME 是一个 30B MoE (Mixture of Experts) 模型,其激活参数 (Activated Parameters) 仅为 3B。
但在多个基准测试中,它不仅吊打了同等规模的模型(如 Qwen3-Coder-30B),甚至与 千亿参数级别 的大模型(如 DeepSeek-V3.1, GLM-4.6, GPT-OSS-120B)打得有来有回,甚至实现超越。

1. 基于终端的基准测试 (Terminal-Based Benchmarks)
这是 ROME 的主场。
•
Terminal-Bench 1.0: ROME 达到 41.50%,大幅领先 Qwen3-Coder-30B (28.50%)。
•
SWE-bench Verified: 达到了 57.40%。这是一个非常硬核的软件工程榜单。在这个榜单上,ROME 甚至超过了 GLM-4.5 Air (56.20%) 和 Gemini-2.5 Flash (28.73%)。
核心洞察:ALE 的功劳
这些结果有力地证明了 ALE 生态系统 的有效性。通过 IPA 算法 和 Chunk-Level 强化学习,ROME 突破了小模型在复杂推理和长程执行上的“天花板”。它证明了,针对性的 Agentic 训练比单纯堆砌参数更有效。
2. 工具使用基准测试 (Tool-Use Benchmarks)
在工具调用方面,ROME 同样表现出色,平均得分 49.46%。
特别是在 MTU-Bench (Single-Turn) 上,ROME 得分 62.45%,甚至超过了 DeepSeek-V3.1 (61.71%)。这说明 ROME 在理解用户指令并将其转化为精准的工具调用方面,具备了“越级挑战”的能力。
3. 通用代理基准测试 (General Agentic Benchmarks)
在更通用的 ShopAgent(电商导购)测试中,ROME 展现了强大的长程规划和用户偏好建模能力。
•
在 Single-Turn 设置下,ROME 达到 34.53%。
•
在 Multi-Turn 设置下,达到 29.61%。
这一成绩大幅领先其他同尺寸模型(通常在 13%~22% 之间)。这表明 ROME 不仅仅是一个“写代码的机器”,它还具备理解复杂人类意图、进行多轮交互调整的通用智能。
4. 结论 (Conclusion)
这篇论文的标题是 "Let It Flow",在结论部分,作者再次呼应了这个主题。
作者指出,对 Agentic Crafting(代理式构建)的追求,代表了 LLM 能力的一次重大飞跃。我们不再满足于让模型简单地回答问题(One-shot responses),而是要求它们在动态的、真实的世界中有效地行动。
这种转变不是靠简单的微调就能实现的,它需要一个强大的Agentic Ecosystem(代理生态系统)。
本文的核心贡献总结:
1.
基础设施 (Infrastructure):提出了 ALE,通过集成 ROLL(训练)、ROCK(执行)和 iFlow CLI(编排),打通了代理开发的任督二脉。
2.
算法创新 (Algorithm):提出了 IPA(交互感知代理策略优化),通过 Chunk-level 的信用分配,解决了长程任务训练难的问题。
3.
模型验证 (Model):开源了 ROME 模型。ROME 的成功不仅仅是一个模型的成功,更是 “数据工程 + 训练系统 (ALE) + 算法创新 (IPA)” 这一整套方法论的胜利。
作者的愿景不仅仅是发布一个 SOTA 模型,而是希望通过开源这些基础设施,填补开源社区在 Agent 训练上的空白,降低 Agent 开发的门槛,推动 AGI 应用的真正落地。
入轩,见微,知著。
愿做你 AI 进阶路上的,那个慢读者。


