Agentic RL调研报告:verl/roll/slime...

✅我是丁师兄，专注于智能驾驶大模型，持续分享LLM面试干货。

✅大模型1v1辅导，已帮助多名同学成功上岸

offer捷报

恭喜学员拿下大模型独角兽月之暗面offer，总包60w+。从最开始面试被卡，回来做面试复盘，每场面试都录音回听，补齐短板。训练营这边，我布置的实战作业一个都没有落下，项目手动复现吃透。

上岸靠的不是运气，而是方法+强度，逼你在实战中，一步步把能力练出来！！~需要大模型1v1辅导的同学快上车哦~

大语言模型（LLM）的强化学习后训练（RL Post-Training）已成为提升模型推理、对齐和 Agent 能力的核心技术路径。

从 OpenAI 的 RLHF 到 DeepSeek-R1 的 GRPO，RL 训练系统需要高效协调四个关键子系统：Rollout 生成、Training 优化、Data Processing 数据处理和I/O 通信。

随着模型规模从 7B 增长到 671B（MoE），上下文长度从 2K 扩展到 200K，训练场景从单轮对话演进到多轮 Agent 交互，RL 训练基础设施面临前所未有的挑战：Rollout 阶段的长尾延迟、训练与推理间的权重同步开销、MoE 路由不一致性、以及 GPU 资源利用率低下等问题。

正如 Zhang et al. 在 The Landscape of Agentic Reinforcement Learning for LLMs: A Survey（TMLR 2026）中指出。

RL 正在从传统的单步 MDP 对齐范式（LLM RL）向时序扩展 POMDP 的 Agentic RL 范式转变——LLM 不再是被动的序列生成器，而是嵌入复杂动态世界中的自主决策 Agent。这一范式转变对训练基础设施提出了全新的要求。

本报告对 7 个代表性 Agentic RL 训练系统进行深度分析，重点关注：

• Rollout 依赖：推理引擎选择、生成模式、长尾处理策略

• Training 依赖：训练引擎、并行策略、算法实现

• Data Processing 依赖：数据协议、缓冲区设计、序列优化

• I/O 依赖：通信框架、权重同步、集合通信

（1）Rollout/Generation（生成）

Rollout 阶段使用当前策略模型对输入 Prompt 进行自回归推理，生成 Response 序列。该阶段需要记录每个 Token 的采样概率（log-probability），用于后续策略梯度计算。

Rollout 是 RL 训练流水线中最耗时的环节，在长 Chain-of-Thought（CoT）场景下可占总时间的 63%-87%。

（2）Training/Optimization（训练）

Training 阶段根据 Rollout 数据和奖励信号计算策略梯度并更新模型参数。

核心算法包括 PPO（Proximal Policy Optimization）、GRPO（Group Relative Policy Optimization）、DAPO 等。训练引擎需要支持大规模分布式并行（TP/PP/DP/CP/EP）。

（3）Data Processing（数据处理）

数据处理涵盖 Rollout 和 Training 之间的数据流转，包括奖励计算、Advantage 估计（GAE）、数据分发与聚合、序列打包等。高效的数据处理需要零拷贝传输和 RDMA 支持。

（4）I/O & Communication（通信）

I/O 层负责 GPU 间的集合通信（NCCL AllReduce/AllGather）、训练与推理间的权重同步、分布式调度（Ray）以及推理引擎的服务通信（gRPC/HTTP）。权重同步是连接 Rollout 和 Training 的关键瓶颈。

（5）LLM RL vs. Agentic RL：范式转变

参考框架：The Landscape of Agentic RL for LLMs（TMLR 2026, 综合 500+ 篇工作）

传统 LLM RL 与 Agentic RL 的核心区别在于 MDP 建模层次：

RL 粒度：Token 级 vs. Turn 级 vs. Trajectory 级

这一设计轴对训练基础设施有直接影响：

关键发现: 从传统 LLM RL 继承的 Token 级 MDP 对于 Agentic 任务日益不适用。Turn/Step 应成为 LLM Agent 的适当动作表示。

奖励建模分类：

趋势：从人类标注奖励 → 自动验证和自博弈。模块化堆栈正在形成: SFT → DPO/SimPO 对齐 → GRPO/DAPO 可验证推理。

Agentic 能力维度

该综述将 Agent 能力映射为 6 大可 RL 优化的模块：

graph TD    AgenticRL["Agentic RL 能力模块"]    AgenticRL --> Planning["Planning 规划<br/>多步决策轨迹"]    AgenticRL --> ToolUse["Tool Use 工具使用<br/>自主发现调用策略"]    AgenticRL --> Memory["Memory 记忆<br/>检索策略与管理"]    AgenticRL --> Reasoning["Reasoning 推理<br/>慢思考/快思考"]    AgenticRL --> SelfImprove["Self-Improvement 自我提升<br/>课程学习/自蒸馏"]    AgenticRL --> Perception["Perception 感知<br/>多模态感知与行动"]

各调研系统对这些能力的支持程度见下文的对比表。

Agentic RL 基础设施挑战（综述识别）

该综述识别了 Agentic RL 对基础设施的 5 大核心需求：

• 变长轨迹：环境交互产生不可预测长度的轨迹 → 需要动态批处理（verl Server 模式，Forge Windowed FIFO）

• 扩展上下文窗口：长 CoT 推理链 → 高效 KV Cache 管理（Seer Mooncake，Forge L3 Pool）

• 高度可变的环境响应延迟：工具调用可能从毫秒到分钟 → 异步架构必需（verl AgentLoop，ROLL 异步模式）

• 管理数千并发环境：分布式调度、状态检查点、容错、可复现性 → 编排层设计（Ray，Hivemind）

• 大量外部云资源：CPU 执行代码、GPU 运行奖励模型 → 超出主训练集群（ROLLART Serverless）

（1）verl（字节跳动）

项目概述：verl（Volcano Engine Reinforcement Learning）是目前最成熟的开源 LLM RL 训练框架。

其核心创新 HybridFlow 将单控制器（MPMD）和多控制器（SPMD）编程范式统一于一个系统中，论文被 EuroSys 2025 接收。当前版本 v0.7.1（2026 年 1 月发布）。

架构设计：

关键抽象：

• ResourcePool：Ray placement group 管理的 GPU 集合

• WorkerGroup：Worker 代理，方法通过 @register（dispatch_mode=Dispatch.DP_COMPUTE_PROTO）装饰器定义数据分发和收集策略

• create_colocated_worker_cls：将多个角色（Actor/Rollout/Ref）合并为同一 Ray remote class，在同一 GPU 上时分复用

Rollout 实现：

• 推理引擎：vLLM（主要）、SGLang（同等支持）、TensorRT-LLM（v0.8 计划）

• v0.7 默认 Server 模式：推理引擎作为独立服务器进程，使用动态批处理（Dynamic Batching），支持 AgentLoop 多轮 Agentic 任务

• GRPO 分发：repeat-chunk-dispatch 模式 —— 在驱动端重复样本后分块分发到 Rollout Worker

• 异步生成：完全解耦 Trainer 和 Rollouter，实现 2.35x-2.67x 性能提升（128 GPU，Qwen2.5-7B）

Training 实现：

• 训练引擎：FSDP/FSDP2（ZeRO-3, 推荐研究）+ Megatron-LM（推荐生产）

• 5D 并行：DP（数据）+ TP（张量）+ PP（流水线）+ CP（上下文/Ring Attention）+ EP（专家，MoE）

• 算法：PPO，GRPO，GSPO，DAPO，DPO，SFT，REINFORCE++，RLOO，PRIME

• 量化：实验性 FP8 训练（Megatron 后端）

Data Processing：

• DataProto：张量 + 元数据的统一通信协议，Dispatch.DP_COMPUTE_PROTO 自动分片/分发/收集

• TransferQueue（v0.7 实验性）：控制流与数据流解耦，RLTrainer 仅分发指令和元数据；使用 2D 存储结构（行=训练样本，列=I/O 字段），支持零拷贝和 RDMA

• v0.8 路线：默认 TensorDict 替代 DataProto，消除 padding 传输

I/O 与通信：

训练流程：

性能数据：

（2）ROLL（阿里巴巴）

项目概述：ROLL 是阿里巴巴开发的高效可扩展 RL 训练库，核心特色是 AutoDeviceMapping 灵活设备映射和 ROLLMUX/ROLLART 资源优化系统。支持共置、解耦和 Serverless 三种部署模式的灵活切换。

架构设计：

Rollout 实现：

• Rollout Scheduler：管理每个 Prompt 样本的完整生命周期 (add_request/abort_request)

• 4 种 Rollout 模式：同步、样本级异步、环境级异步、完全异步解耦

• RollPacker：尾部批处理 + 投机执行，2.03-2.56x 加速 (vs verl)

• 动态 FP8 Rollout：vLLM 后端支持

Training 实现：

• DeepSpeed ZeRO + Megatron 5D 并行 + LoRA

• 10+ RL 算法，支持 RLVR/Agentic/Distill/DPO/SFT 流水线

• ROLL Flash：异步训练加速

• AMD GPU 支持（ROCm）

Data Processing：

• AutoDeviceMapping：编排 CPU/GPU 资源池，灵活绑定 Workers 和 Scheduler

• ROLLMUX 轻量挂起：数据面状态 offload 到主机内存后释放 GPU，恢复时仅需 reload 缓存状态，避免冷启动

• ROLLART：无状态组件（如 Reward Model）offload 到 Serverless 函数计算，零开销弹性伸缩

I/O 与通信：

• ROLLMUX：控制面/数据面解耦，分层 2 阶段权重同步（7.87-8.33x faster than verl）

• ROLLART：Python 装饰器定义硬件亲和性，分布式运行时编排异步 trajectory 级工作流

• Ray 调度、NCCL 通信、gRPC/HTTP 推理

性能数据：

（3）SLIME（清华 THUDM）

项目概述：SLIME 是清华大学 THUDM 团队开发的 LLM RL Scaling 后训练框架，以 SGLang 原生设计为核心，训练端采用 Megatron-LM。

是 GLM-4.5/GLM-5 的生产训练框架，唯一经验证可训练 355B MoE 模型的开源 RL 框架。当前版本 v0.2.3。

架构设计：

Rollout 实现：

• SGLang 原生集成：非通用推理后端接入，而是围绕 SGLang 的特性深度优化

• SlimeRouter：多 SGLang 实例间的智能负载均衡

• StringRadixTrie：Token 级前缀缓存，加速共享前缀的多次采样

• APRIL（Active Partial Rollouts in RL）：过量供应 Rollout 请求 → 达到目标数量后主动停止未完成的 → 智能回收部分结果用于未来迭代。49.5% Rollout 吞吐量提升，40% 端到端吞吐量提升（9.3k → 13k tokens/s）

• FP8 + DeepEP：在 GLM4.5-355B 上实现 6-7x 推理加速

Training 实现：

• Megatron-LM（via mbridge）：完整 TP+PP+DP+CP+EP 并行

• PPO/GRPO/DAPO/GSPO算法

• 同步 + 异步双模式：共置模式（共享 GPU, 交替执行）和异步模式（分区 GPU，持续流式处理，安全抢占进行中请求）

Data Processing：

• Data Buffer：桥接模块，管理 Prompt 初始化、自定义数据处理和 Rollout 生成方法注册

• Ray Object Store：中间结果存储

• Advantage Estimator：可插拔的 PPO/GRPO 估计器

I/O 与通信：

权重同步：BF16 约 48 秒，FP8 约 100 秒。

性能数据：

（4）MILES（RadixArk）

项目概述：MILES 是 SLIME 的企业级分支，由 InfiXAI、蚂蚁集团和 SGLang RL Team 联合开发。

核心解决 SGLang 与 Megatron MoE 路由不一致问题：实证发现约 10% 的 Router 在两个引擎间选择不同专家，94% 的 Token 至少在一层选择了不同专家。

架构设计：

核心创新：R3（Rollout Routing Replay）

• Rollout 阶段（SGLang）：记录每层每 Token 的 Top-K 专家索引

• Training 阶段（Megatron）：回放这些路由决策，在 softmax 门控中强制激活相同专家

• Router 权重仍然可训练 —— 只是强制选择与 Rollout 一致的专家

• 结果：高差异 Token 数量级降低，KL 散度大幅下降

端到端 FP8：

• 首个同时在 Rollout 和 Training 中使用 FP8 的框架

• 核心洞见：仅 Rollout FP8（Training 保持 BF16）比端到端 FP8 不一致性更差

• FP16 的 10-bit 尾数比 BF16 的 7-bit 更鲁棒

• INT4 QAT（W4A16）：1TB 模型可在单机 H200 上推理，2x Rollout 效率

其他特性：

• 投机解码：在线 SFT MTP 草稿层，草稿模型与训练同步更新，25%+ Rollout 加速

• MrlX：异步共演化多智能体 RL 框架

• 权重同步：CUDA IPC 零拷贝映射，异步张量收集，50% 同步时间降低

（5）MiniMax Forge

项目概述：Forge 是 MiniMax 开发的 Agent RL 框架，用于训练 MiniMax M2.5（230B 总参数，10B 活跃 MoE）。

采用三层中间件架构解决 Agent RL 的“不可能三角”：吞吐量 vs 稳定性 vs 灵活性。

三层架构：

CISPO 算法

Clipped Importance Sampling Policy Optimization —— 与 PPO 的核心区别：

• PPO：裁剪策略比率 (token 级)，系统性过滤某些 Token（如语气词”wait”），这些 Token 永远不接收梯度

• CISPO：裁剪重要性采样权重，确保所有 Token 参与梯度计算

• 引入一定偏差但显著降低方差

• 结果：在 Qwen2.5-32B 上比 DAPO 快 2x，更高收敛上限

Prefix Tree Merging：

• 共享公共 Prompt 前缀的多个 Completion 合并为单棵前缀树

• 使用 Magi Attention 保证逻辑等价性

• 前向传播后通过元数据解构前缀树计算损失

• 结果：~40x 训练加速，内存开销降低

Rollout 与 I/O：

• PD 解耦：异构 Prefill-Decode 分离，独立并行策略

• 全局 L3 KV Cache Pool：DFS 后端，成本感知调度（权衡队列延迟 vs 缓存迁移成本）

• 上下文：支持 200K Token

• 数据：数百种 Agent 脚手架，数千种工具格式

（6）Seer（月之暗面）

项目概述：Seer 是 Moonshot AI（月之暗面）与清华大学合作开发的 RL 训练系统（arXiv 2511.14617）。

核心洞见：在长 CoT 推理场景下，Rollout 占迭代时间的 63%-87%。Seer 不改变训练算法（仍然严格同步 On-Policy），仅通过 Divided Rollout 消除气泡。

Divided Rollout：

• 传统同步 Rollout 将整个 GRPO 组分配给单个推理实例。Seer 将其分解：

• 细粒度分解：Group 拆分为更小的 chunk，增量调度

• 早期打包：大量短请求打包以充分利用 VRAM

• 晚期调整：根据 KV Cache 预算调整并发度

• Context-Aware 调度：使用投机请求估计剩余工作量，近似最优最长优先调度

DGDS（Distributed Grouped Draft Server）

DGDS 是分布式分组草稿服务器（非“Dynamic GPU Distribution Strategy”）：

• 为每个 GRPO 组维护压缩后缀树 (CST)，聚合组内所有请求的 Token 序列

• 创建高度准确的动态”草稿模型”，与目标模型内在同步——无需独立草稿模型

• Marginal-Benefit-Aware Adaptive Speculation: 平衡吞吐量与高优先级请求延迟

关键技术：

• Mooncake KVCache：两层 DRAM + SSD 分布式缓存，FAST 2025 最佳论文，日处理 100B+ Token

• KV Cache 迁移：全局 KVCache Pool 支持请求迁移无需重计算 Prefill

• Moonshot Checkpoint Engine：快速权重同步

性能数据：在 32 节点 × 8 H800 GPU（256 GPU）上评估：

（7）rl-swarm（Gensyn）

项目概述：rl-swarm 是唯一的完全去中心化 RL 训练系统。无需数据中心，消费级 GPU（RTX 3090+）通过 P2P 网络协作训练。任何人可加入。

SAPO 算法（Swarm sAmpling Policy Optimization）

核心创新：共享 Rollout（文本）而非梯度。

• 每个节点本地生成 Rollout (采样 + 解码)

• 通过 Gossip 协议共享 Rollout 文本 + 元数据 + 正确答案

• 本地计算奖励，通过 GRPO 更新策略

• 接收其他节点的 Rollout，过滤/子采样后融入本地训练

为什么有效：Rollout 是架构无关的（只是文本），不同架构和规模的模型可共享经验。“Aha moments”通过 Swarm 传播。

通信与基础设施：

性能数据：

• 8x Qwen2.5-0.5B: 最高 94% 累计奖励提升

• 数千社区成员参与开放测试

• 局限：高能力模型（Qwen3 0.6B+）收益递减，主要验证小模型（0.5B-1.5B）

（1）Rollout 对比

（2）Training 对比

（3）I/O 与通信对比

（4）创新点对比

（5）Agentic 维度对比（基于综述框架）

以下对比维度参考 The Landscape of Agentic RL for LLMs 的分类体系

RL 粒度与 MDP 建模：

奖励建模方式：

Agentic 能力支持度：

RL 算法族谱映射：

基于综述的算法分类，各系统的算法定位：

PPO 族 (需要 Critic):  ├── PPO-Clip ←── verl, ROLL, SLIME, Seer  ├── PPO-KL  ←── verl  └── Turn-PPO (Turn级) ←── 前沿研究GRPO 族 (无 Critic, 组内相对):  ├── GRPO ←── verl, ROLL, SLIME, MILES, Seer  ├── DAPO (解耦Clip+动态采样) ←── verl, ROLL, SLIME  ├── GRPO+TIS/MIS (离策略校正) ←── MILES  └── GSPO ←── verl, SLIME自研变体:  ├── CISPO (裁剪重要性采样) ←── Forge  └── SAPO (Swarm 采样) ←── rl-swarmDPO 族 (无 RL 循环):  └── DPO/SimPO/KTO ←── verl (支持但非主力)

综述关键发现：GRPO 通过消除 Critic 模型，减少了约 50% 的内存和计算开销，性能匹敌或超越 PPO。DAPO 进一步解决了 GRPO 在长 CoT 场景下的熵坍塌和训练不稳定问题。

（1）控制器模式光谱

集中式 ←─────────────────────────────────→ 去中心化 verl      Seer      ROLL     SLIME    MILES    Forge    rl-swarm  │         │         │        │        │        │         │单控制器  集中式    灵活      编排层   编排层   中间件    P2P共置     动态切换  3种模式    解耦     模块化   完全解耦  无中心

（2）耦合程度演进

紧耦合共置：verl（默认）—— Actor/Rollout/Ref 同 GPU，3D-HybridEngine 权重切换

灵活切换：ROLL —— 共置/解耦/Serverless 三模式，AutoDeviceMapping 自动选择

解耦设计：SLIME，MILES —— SGLang 和 Megatron 独立进程，HTTP 通信

完全解耦：Forge —— 三层中间件，Gateway 隔离 Agent 与模型

去中心化：rl-swarm —— P2P 网络，无中心协调

（3）趋势观察

从共置到解耦：早期系统倾向共置以减少通信，新系统普遍采用解耦架构以获得更好的弹性和容错

推理引擎标准化：vLLM 和 SGLang 成为事实标准，Server 模式成为默认

量化加速：FP8 从实验走向生产，INT4 QAT 开始探索

异步训练：从严格同步 On-Policy 向异步流水线演进

MoE 优化：R3 路由回放、FP8 精度一致性等 MoE 专项优化

（1）核心发现：从 LLM RL 到 Agentic RL 的基础设施演进

综合本报告的 7 个系统分析和 Agentic RL 综述 的理论框架，我们识别出基础设施演进的核心趋势：

RLHF 时代 (2023-2024)：单步 MDP，同步批处理 Rollout，80-90% 时间花在样本生成上。

Agentic RL 时代（2025-）：POMDP，异步多轮交互，变长轨迹，环境延迟不可预测，信用分配跨越多个步骤和轮次。

这一转变直接驱动了所有 7 个系统的核心设计选择：

（2）对 Rollout 的依赖

所有系统都严重依赖高吞吐推理引擎。vLLM 和 SGLang 是两大主流选择。

Rollout 是 RL 训练的瓶颈（占总时间 63%-87%），各系统的核心创新大多围绕 Rollout 优化：

• verl：Server 模式 + 异步生成（2.35-2.67x）

• ROLL：RollPacker 尾部批处理（2.03-2.56x）

• SLIME/MILES：APRIL 部分 Rollout + 投机解码（25%+）

• Forge：PD 解耦 + MTP + 前缀树

• Seer：Divided Rollout 消除气泡（+74-97%）

• rl-swarm：P2P Rollout 共享

• 综述洞见：Agentic Rollout 面临额外挑战——工具调用的 head-of-line blocking。

如果一个批次中的某个对话需要 5 分钟工具调用，所有 100 个对话（及 GPU）都闲置。

解决方案是将生成拉入异步的、逐对话的服务器（verl AgentLoop 模式）。

（3）对 Training 的依赖

Megatron-LM 主导大规模训练（6⁄7 系统使用或兼容）。FSDP 适合中小规模研究。自研引擎（Forge 的 Magi Attention）可实现更深度的优化（Prefix Tree Merging）。

算法演进：PPO → GRPO（消除 Critic, 50% 资源节省）→ DAPO（解决熵坍塌）→ CISPO（全 Token 梯度）→ SAPO（去中心化）。GRPO 族正在成为主流，因为它消除了 Critic 模型的额外资源开销。

（4）对 Data Processing 的依赖

高效数据传输是关键瓶颈。三大优化方向：

• 零拷贝传输：CUDA IPC（SLIME/MILES）, RDMA/NIXL（verl）， TransferQueue

• 前缀共享/缓存：StringRadixTrie（SLIME/MILES），Prefix Tree Merging（Forge，~40x）

• 解耦数据流：TransferQueue（verl），Data Pool（Forge），Data Buffer（SLIME）

综述洞见：奖励建模正从人类标注 → 自动验证（RLVR）演进，这改变了 Data Processing 的需求——从偏好数据集管理转向实时执行验证。

（5）对 I/O 的依赖

NCCL 仍是集合通信的基础。权重同步是连接 Rollout 和 Training 的关键环节，各系统方案差异最大：3D-HybridEngine（verl）、CUDA IPC 零拷贝（SLIME/MILES）、ROLLMUX 挂起/恢复（ROLL）、L3 KV Cache （Forge）、Mooncake（Seer）、Gossip 广播（rl-swarm）。

（6）未来展望

从 Token 级到 Turn 级 MDP：综述指出 Token 级 MDP 对 Agentic 任务日益不适用。

Bi-Level GAE（结合 Turn 级和 Token 级）是有前景的方向，但对训练基础设施提出了新的 Advantage 估计需求。

更长上下文 RL：200K+ Token 的 Agent 场景需要更高效的 KV Cache 管理。Seer Mooncake 和 Forge L3 Pool 提供了初步答案。

异构硬件：AMD GPU（ROLL/SLIME）、消费级 GPU（rl-swarm）的支持将扩大 RL 训练的可及性。

多智能体 RL：MrlX（MILES）和 rl-swarm 的 Swarm 模式预示多智能体协作训练的方向。综述将 Multi-Agent Systems 列为核心应用领域。

去中心化训练：rl-swarm 证明了可行性，但大模型支持仍需突破。SAPO 的 Rollout 共享（而非梯度共享）是关键创新。

环境可扩展性：综述强调有效整合多样化环境对跨任务泛化至关重要。AWM 和 AutoForge 等环境合成方法指向无限训练数据的可能。

安全与可信：分布偏移、工具误用防范、隐私保护记忆、校准拒绝/弃权能力——Agentic RL 的安全性远比传统 RLHF 更复杂。

作者：薛磊，已获作者授权发布

来源：https://zhuanlan.zhihu.com/p/2031679243713819973

微信：dsxaigc