嗨，我是橘子，专注于AI前沿科技。
点击上方蓝字关注并星标我，以防走丢~
https://github.com/stepfun-ai/StepDeepResearch
摘要（Abstract）
随着大语言模型（Large Language Models, LLMs）逐渐从单纯的“文本生成器”转向能够独立规划并执行任务的自主智能体（autonomous agents），评估一个智能体核心竞争力的关键指标，已经转向了深度研究（Deep Research）能力。换句话说，现在的 AI 不仅要多轮对话，还要能像人类研究员一样，自己去查资料、整理线索、写出深度分析报告。
然而，目前大多数现有研究主要聚焦于学术场景下的“多跳搜索（multi-hop search）”任务，这类任务通常带有明确的“标准答案（ground truth）”，比如知名的 BrowseComp 评测集。举个例子，问你“爱因斯坦哪一年获得诺贝尔奖”，AI 只需要搜到并匹配答案即可。但这种模式往往无法满足现实世界中用户“开放式研究（Open-ended research）”的真实需求。现实中的研究任务（如“帮我梳理近三年生成式 AI 在医疗领域的落地瓶颈与突破方向”）没有固定答案，它不仅要求 AI 具备强大的检索能力，更考验其隐藏意图识别、长程决策规划、多轮工具调用、逻辑内容架构以及跨来源交叉验证等综合技能。
为了解决这一痛点，我们推出了 Step-DeepResearch。这是一个低成本、端到端（End-to-End）训练的深度研究智能体模型。我们的核心创新在于提出了一种“基于原子能力的数据合成策略”。通俗来说，与其让模型直接硬啃复杂的综合报告，不如把研究能力拆解成几个底层基础动作：规划（Planning）、信息检索（Information Seeking）、反思纠错（Reflection）和报告撰写（Report Writing）。我们针对这四项原子能力，专门生成高质量的数据进行针对性强化，让模型先练好基本功。
在训练范式上，我们为模型搭建了一条循序渐进的升级路径：
智能体中期训练（Agentic Mid-training）：先让模型掌握使用搜索、浏览等工具的基本交互逻辑。 监督微调（Supervised Fine-tuning, SFT）：通过大量优质范例教模型严格遵循用户指令，并符合专业的排版规范。 强化学习（Reinforcement Learning, RL）：让模型在试错中自我进化。我们特别引入了一种“清单式评判器（Checklist-style Judger）”作为奖励机制。这就像老师批改作业时拿着检查清单逐项打分（格式对不对？数据准不准？逻辑是否自洽？），这种设计大幅提升了模型在各类复杂场景下的鲁棒性（稳定性）。
此外，针对中文领域长期缺乏贴近真实业务需求的评测标准这一问题，我们构建了 ADR-Bench，这是一个专门面向真实深度研究场景的中文评测基准。
实验结果充分验证了该方案的有效性：参数量仅为 320 亿（32B）的 Step-DeepResearch，在 Scale AI 的 RESEARCHUBRICS 榜单中取得了 61.42 的高分。在 ADR-Bench 的专家人工盲测中，其 Elo评分（Elo score，一种用于衡量相对竞技水平的动态评分系统）全面领先同量级模型，甚至足以与 OpenAI DeepResearch、Gemini DeepResearch 等顶尖闭源商业服务正面抗衡。这些发现证明，只要训练方案设计足够精细，中等规模的模型完全可以达到专家级的深度研究水平。凭借极低的部署与推理成本，Step-DeepResearch 已成为目前业界性价比最高的深度研究智能体模型。
图 1：Step-DeepResearch 综合评估结果。（a）RESEARCHUBRICS 上的成本效益：Step-DeepResearch 取得了接近顶尖的性能（61.42 分），同时显著降低了推理成本（以人民币计），位于高效率前沿。（b）ADR-Bench 上的专家评估：Step-DeepResearch 在所有维度的 Elo 评分中均保持领先，足以媲美顶级闭源模型。
1 引言（Introduction）
Large Language Models（大语言模型）正在快速进化，逐渐从单纯的对话聊天工具，转变为能够独立规划并行动的自主智能体（autonomous agents）。在这一趋势下，Deep Research（深度研究）成为了衡量通用智能体能力的“北极星”指标。简单来说，它指的是 AI 系统处理开放性、长期性且高度复杂的信息检索任务的能力。虽然 OpenAI DeepResearch、Gemini DeepResearch 和 Kimi-Researcher 等最新系统展示了 AI 自主获取信息的潜力，但也暴露出明显的短板。
日常搜索并不等于学术研究。尽管工业界进展迅速，但模型在测试集上拿高分，并不代表在实际工作中真正好用。核心原因在于任务定义的错位：Search（搜索）通常针对有明确答案的问题，主要追求把网页找得又快又准；而 Research（研究）是一个反复迭代的过程，它要求 AI 能够拆解目标意图、制定计划、熟练使用工具、在不同信息源之间交叉验证，并最终把零散内容整合成结构清晰的报告。
过度依赖 Multi-hop QA（多跳问答）来驱动评测会带来严重副作用。目前业界常用多跳问答来测试和训练智能体，这往往成了事实上的优化目标。这种压力会导致模型行为过度偏向“检索型”。换句话说，它们看起来更像是在网上疯狂抓取零散事实的高效网络爬虫，而不是懂得将证据融会贯通、形成严密论证的研究员。这也导致了信息碎片化、推理链条断裂，以及在面对嘈杂信息时容易产生幻觉等问题，严重阻碍了深度研究系统的实际落地。
我们的核心视角是，将深度研究重新看作是基于一系列基础原子能力的长期决策过程。这些原子能力包括自适应规划、信息收集与交叉验证、反思纠错以及内容创作。从这个视角出发，想要提升系统的实用性，关键不在于堆砌外部组件，而是通过训练让模型“内化”专家的认知循环，使其在任务推进过程中具备自我检查和随时修正的能力。
基于上述理念，我们正式介绍 Step-DeepResearch 框架。这是一个端到端的系统，主要依靠模型自身的原生能力来实现稳健且实用的自动化研究。我们的主要贡献如下：
基础能力数据合成（Atomic-capability data synthesis） ：我们将深度研究拆解为可训练的基础原子能力，并为智能体中期训练（agentic mid-training）合成定向数据，涵盖领域知识、高层规划、行为反思、信息摘要和交叉验证。为了解决高质量推理数据稀缺的问题，我们进一步开发了一套基于知识图谱和专家操作轨迹的后期数据合成流程。这种设计旨在提升训练数据的信息密度和逻辑严密性，并缓解传统合成数据集中常见的“能力缺失”问题。 渐进式训练流水线（Progressive training pipeline） ：我们建立了一条从智能体中期训练，到监督微调（Supervised Fine-tuning），再到强化学习（Reinforcement Learning）的实用优化路径。利用基础能力数据，我们将模型的学习目标从传统的“预测下一个 token”，转变为“决定下一步执行哪个原子动作”。实际测试表明，这一改变显著提升了模型在复杂环境中的稳定性，并增强了跨任务的泛化能力。 应用导向的评测套件（Application-driven evaluation suite） ：现有的基准测试（如 BrowseComp 和 GAIA）虽然有参考价值，但往往难以捕捉真实用户的实际需求，且高质量中文的深度研究评测集依然匮乏。为此，我们构建了 ADR-Bench（应用驱动的深度研究基准），覆盖商业调研、政策分析和软件工程等领域。该基准结合类 Elo 等级分协议与多维度的质量标准，致力于让自动化评测指标更紧密地对齐人类感知到的“实际好用程度”。
凭借 320 亿参数规模，Step-DeepResearch 展现出了与其体量相符的强劲性能。在 ADR-Bench 上，它在端到端研究中表现出极高的实用性。与许多依赖复杂多智能体协作或重型工作流的系统不同，Step-DeepResearch 得益于已内化的基础能力，仅采用精简的 ReAct 风格单智能体设计即可胜任。在基于专家评估的 Elo 评分中，它不仅在性能上超越了参数量更大的 MiniMax-M2、GLM-4.6 和 DeepSeek-V3.2 等模型，还击败了 Kimi-Researcher 和 MiniMax Agent Pro 等前沿深度研究系统。在 RESEARCHUBRICS 基准测试中，Step-DeepResearch 在三元评分标准下达到了 61.42 的规则合规率，表现与 OpenAI DeepResearch 和 Gemini DeepResearch 相当，并大幅领先于众多开源及闭源模型。这项工作充分证明，中等参数规模的模型同样能够达到专家级的深度研究水平。如图 1 所示，凭借极低的部署与推理成本，Step-DeepResearch 已成为当前最具性价比的深度研究系统。
2 相关工作（Related Work）
本节主要梳理了当前深度研究领域已有的技术方案与系统，帮助我们了解该方向的发展现状和技术路线。
2.1 基于工作流的深度研究实现（Workflow-based Implementation of Deep Research）
目前市面上主流的深度研究系统，大多采用“通用 Foundation Models（基础模型）+ 外部 Workflow（工作流）编排”的架构模式来实现研究能力。换句话说，大模型本身主要负责内容生成与理解，而具体“先查什么、后查什么、怎么查”的步骤，则是由工程师提前编写好的代码流程来控制的。
我们可以从以下几个代表性系统中看到这种思路的具体应用：
商业闭源系统 ：OpenAI DeepResearch [1] 结合了 o3-mini 推理模型与多步网页探索技术，并采用异步任务管理。举个例子，这就像同时派出多个助手去不同网站搜集资料，系统不需要干等一个任务结束再启动下一个，大幅提升了效率。Gemini DeepResearch [2] 引入了动态研究蓝图和交互式计划调整机制，充分利用了模型的 Self-Reflection（自我反思）能力以及高达 100 万的 Token 上下文窗口，能够根据新获取的信息随时修正后续研究方向。Claude Research [10] 采用 Agent（智能体）模式，自动执行多次相互关联的搜索，像人类研究员一样主动挖掘问题的不同侧面。Perplexity Deep Research [11] 则将类似必应的网页索引技术与 Sonar 接口结合，同时使用 BM25（传统关键词匹配）与 Dense Vector Reranking（稠密向量重排序）技术。这相当于先用关键词进行粗筛，再用语义相似度进行精细过滤，确保返回的资料既精准又相关。 开源框架 ：LangChain Open Deep Research [12] 提供了一套“规划-执行”架构，模型在执行过程中会不断自我反思，主动发现遗漏的知识点。DeepResearchAgent [13] 设计了分层的多智能体协作系统，将复杂的研究任务拆解，由不同分工的“小助手”协同完成。Together AI Open Deep Research [14] 则在研究初期通过规划生成搜索词，并利用大语言模型实时评估 Knowledge Gaps（知识盲区），从而动态决定下一步的检索目标。
尽管这些方案各有亮点，但它们本质上存在一个共同的局限：系统将预先定义好的 Workflow（工作流）模式 Hardcode（硬编码）进了底层架构中。这种设计导致系统的复杂度极高，扩展和维护成本也随之上升。此外，对于采用 ReAct（推理与行动交替）等方法构建的 Agent（智能体）而言，它们在面对需要深厚专业背景的场景时，往往难以进行足够深度的挖掘，实际研究质量与用户的真实需求之间仍存在一定差距。
2.2 研究能力的端到端优化（End-to-End Optimization of Research Capabilities）
在之前的许多方案中，大模型往往扮演一个“项目经理”的角色，需要不断调用外部独立的搜索工具或插件来拼凑完成任务，这种依赖外部工具调度的模式被称为编排型系统（orchestration-based systems）。而现在的研究趋势发生了明显转变：越来越多的工作尝试把各种核心能力直接“内化”进模型本身。实现这一目标的核心手段是端到端（End-to-End）训练，也就是让模型在完整的任务流程中直接学习，不再依赖外部拼凑的工具链。
为了让你更直观地理解这个方向，我们可以看看几项具有代表性的研究工作：
DeepResearcher ：该研究直接在真实的网页环境中，利用 GRPO（Group Relative Policy Optimization，分组相对策略优化）算法进行端到端的强化学习（Reinforcement Learning）训练。训练的结果非常有趣，模型自己“涌现”出了类似人类的高级认知行为，比如能够自主制定搜索计划（planning）、能够交叉比对不同来源的信息（cross-source verification），甚至在发现矛盾时能自我反思（self-reflection）。 Kimi-Researcher ：它同样采用端到端的智能体（Agentic）强化学习训练。它的强项在于处理需要“长跑”的复杂任务，也就是长周期、多轮次的搜索推理。为了保证模型在漫长推理过程中不遗忘、不跑偏，系统内部专门设计了上下文管理机制（context management）和异步展开系统（asynchronous rollout），相当于给模型配备了高效的“记忆管理器”和“多线程执行器”。 Tongyi DeepResearch ：提出了一套更统一的训练框架，将智能体的中期训练（mid-training）与后期微调（post-training）彻底打通。它一边利用自动化的数据合成流水线源源不断地生产高质量训练数据，一边结合同策略强化学习（on-policy RL）进行实时优化，大幅提升了训练效率。 其他相关方法 ：像 WebRL 引入了自主课程学习（autonomous curriculum learning）和带 KL 散度约束的策略更新（KL-constrained policy updates），让模型能像学生一样由浅入深地循序渐进，同时用数学约束防止模型在更新时“步子迈得太大而学偏”；Search-R1 则将强化学习增强的搜索与推理逻辑深度融合，进一步拔高了模型的推理上限。
尽管上述端到端方案在技术上取得了显著进展，但作者指出，它们目前依然存在两个明显的短板：
重搜索、轻核心能力 ：现有的端到端工作绝大多数精力都花在提升“搜索效能（search efficacy）”上，例如提高检索准确率、优化搜索查询词。然而，对于深度研究真正不可或缺的“原子核心能力（atomic core capabilities）”，目前还缺乏系统性的构建策略。这里的“原子能力”可以理解为像基础积木一样的底层硬功夫，主要包括：超长链条的逻辑推理能力、跨多信源的交叉验证能力，以及撰写高质量专业报告的能力。如果缺乏这些底层能力，模型只能做到“搜得快”，却做不到“研究得深”。 性能与成本的平衡难题 ：业界目前面临一个非常现实的工程挑战：如何在保持模型高推理性能的同时，有效缩减模型参数规模并降低实际运行成本？这仍然是当前亟待解决的痛点。
2.3 深度研究相关评估基准（Deep Research Related Evaluation Benchmarks）
这一部分主要盘点了目前用来测试人工智能“深度研究（Deep Research）”能力的各种“考卷”（即评估基准），并分析了它们的优缺点，从而引出作者自研新基准的动机。
为了方便理解，我们可以把现有的测试集分为两类：
第一类：侧重学术写作规范的“考卷”这类基准主要考察模型能不能像学者一样，产出结构严谨、引用规范的研究内容。
RESEARCHUBRICS ：包含 101 个跨学科的研究任务。每个任务都附带了 20 到 43 条由专家编写的细项打分规则，重点检查内容的事实准确性、逻辑推理是否严密以及表达是否清晰。 DeepResearch Bench ：包含 100 个博士级别的研究任务，覆盖 22 个领域。它使用 RACE 框架来评估生成报告的整体质量，同时利用 FACT 框架来考核信息检索（Information Retrieval）能力。 ReportBench ：它的出题方式很特别，采用“逆向工程（Reverse Engineering）”思路，也就是根据 arXiv 上已有的专家综述论文，反向推导出对应的研究问题。主要用来检验模型生成的报告在文献引用和事实一致性上是否达标。不足之处 ：除了 RESEARCHUBRICS 相对完善外，其他数据集在任务覆盖的广度和评估深度上都有所欠缺。换句话说，它们还没有完全跟上真实科研场景中复杂多变的需求。
第二类：侧重信息查找与知识储备的“考卷”这类基准更像传统的“知识竞赛”，主要测试模型搜资料和调取知识库的能力。
BrowseComp ：收录了 1266 个需要“多跳推理（Multi-hop Reasoning）”的事实查找题。多跳推理就像连环破案，需要根据线索 A 找到线索 B，再由 B 推导到最终答案。该基准专门用来测试模型挖掘隐蔽、深层信息的能力。 HLE（Humanity's Last Exam，人类最后的大考） ：包含 2500 道跨学科的专家级难题。但它带有浓厚的“闭卷考试（Closed-book Exam）”风格，题目大多是有标准答案的多步搜索题或前沿知识题。不足之处 ：这类基准虽然难度高，但过于封闭和标准化，缺乏真实工业级研究所需要的“开放性”和“多维度探索”特征。现实中的深度研究往往没有唯一标准答案，更看重发散与验证的过程。
正是因为现有的测试集要么太偏向纯学术而不够接地气，要么太像闭卷考试而缺乏灵活性，作者团队决定构建一套全新的基准：ADR-Bench 。它的核心目标很明确：填补中文深度研究场景下的评估空白。与以往不同，这套新基准的题目将直接由真实用户的实际需求驱动，确保评估结果能真正反映模型在实际工作中的应用价值。
3 数据策略：构建原子能力（Data Strategy: Constructing Atomic Capabilities）
深度研究智能体（Deep Research agent）面临的核心难题，是如何填补“预训练”和“针对特定任务优化”之间的决策鸿沟。在预训练阶段，模型已经学习了海量的世界知识；但到了后训练阶段，我们需要引导它在极其庞大的动作空间里，完成复杂的、长链条的推理过程。
换句话说，如果让模型直接在原始的 token 级别空间里盲目摸索，不仅计算成本极高，而且随着生成的序列越来越长，可选择的分支会呈指数级爆炸，模型很容易陷入“局部最优”（也就是卡在某个看似正确、实则走不通的死胡同里）。因此，我们提出了一种全新的数据构建视角：把训练目标从“预测下一个 token”直接升级为“决定下一个原子动作（Atomic Action）”。
我们将“原子能力（Atomic Capabilities）”定义为一组可迁移的、高层级的动作抽象，它们共同构成了一个紧凑的动作子空间 。数据构建的核心数学目标，就是找到一个最优的动作子空间，让它同时最小化以下两类误差：
其中， 代表“剪枝误差”，即为了简化搜索范围而可能意外丢掉的最优解； 代表“在这个子空间内进行后续规划或强化学习（Reinforcement Learning）的难度”。
# 将论文中的最小化目标转化为可运行的 Python 函数import numpy as npdefcalculate_total_error(epsilon_pruning, epsilon_rl):""" 计算动作子空间的综合误差 :param epsilon_pruning: 剪枝误差 (保留关键技能时的信息损失) :param epsilon_rl: 强化学习难度 (在该子空间中优化规划的难度) :return: 两项误差之和 """return epsilon_pruning + epsilon_rl# === 示例执行演示 ===# 假设我们在设计不同的“原子动作子空间”时，测试了三组配置：configs = {"粗粒度空间_A": {"epsilon_pruning": 0.8, "epsilon_rl": 0.1}, # 简化太多误差大，但容易学"细粒度空间_B": {"epsilon_pruning": 0.1, "epsilon_rl": 0.9}, # 保留全但搜索极难"平衡空间_C": {"epsilon_pruning": 0.3, "epsilon_rl": 0.4} # 折中方案}print("正在评估各配置的总误差以寻找最小值：")for name, val in configs.items(): total = calculate_total_error(val["epsilon_pruning"], val["epsilon_rl"]) print(f"- {name}: ε_pruning={val['epsilon_pruning']}, ε_rl={val['epsilon_rl']} -> 总误差 = {total:.2f}")# 寻找最优配置best_config = min(configs, key=lambda k: calculate_total_error(configs[k]["epsilon_pruning"], configs[k]["epsilon_rl"]))min_error = calculate_total_error(configs[best_config]["epsilon_pruning"], configs[best_config]["epsilon_rl"])print(f"\n>>> 最优动作子空间配置为: {best_config}，最小总误差值为: {min_error:.2f}")为了在“保留关键技能”和“规划逻辑清晰”之间达到帕累托最优（Pareto optimality），我们不是孤立地拼凑数据集。相反，我们围绕四大核心原子能力（规划与任务拆解、深度信息检索、反思与验证、报告生成），专门设计了配套的查询合成流程和轨迹生成策略。
3.1 能力一：规划与任务拆解（Capability I: Planning & Task Decomposition）
规划能力要求模型能把用户模糊或宽泛的提问，有效拆解成一个个能实际落地的小任务，并且能根据环境反馈随时动态调整路线。为了实现这一点，我们采用了“逆向工程（Reverse Engineering）”策略：直接利用现实世界中已经存在的“完美规划成果”，反向合成高复杂度的规划训练数据。同时，为了防止任务过于简单导致模型学不到真本事，我们对输入的任务查询设置了严格的难度筛选机制。
3.1.1 逆向工程合成（Reverse Engineering Synthesis）
为了获取覆盖多领域、且具备真实逻辑深度的规划数据，我们大量使用了高质量的开源技术报告、学术综述和金融研报。举个例子，这些文档本质上就是某项复杂研究任务跑完后的“最终答卷”，字里行间自然蕴含着当初的规划逻辑。
具体操作分为三步：
隐去结果 ：我们先提取某篇报告的标题和摘要（或正文），刻意抹掉具体的实验细节和最终结果数据。 反推任务 ：然后提示大模型进行逆向推导：“假设你是接到这份报告的人，你最初领到的项目任务应该是什么？”通过这种方式，生成模拟真实科研与商业场景的高难度查询。同时，把摘要的结构当成一种“事后视角（Hindsight）”，反推出指导整个研究过程的高层计划。这能确保生成的规划路径具备极高的可行性与严密性，在模型推理阶段起到强约束作用。 轨迹过滤 ：最后，为了保证数据纯净度，我们对生成的数据施加了“轨迹一致性过滤”。我们会让智能体实际跑一遍执行轨迹，计算它与预设计划的吻合度。如果某条轨迹虽然侥幸完成了任务，但严重偏离了预设逻辑，就会被直接过滤。这相当于强迫模型严格学习符合已知最优路径的执行流程。
3.2 能力二：深度搜索与信息获取（Capability II: Deep Search & Information Seeking）
深度信息获取能力与我们平时习惯的简单问答（QA）有本质区别。简单问答就像查电话簿，问什么直接给固定答案；而深度信息获取则要求在信息碎片化的情况下“顺藤摸瓜”。这就要求模型必须具备多跳推理（multi-hop reasoning）能力（即通过线索A找到线索B，再串联起线索C）、挖掘隐藏实体（发现文中未直接提及但逻辑上强相关的对象）以及在信息网络中主动探索的能力。为了专门强化这项能力，研究团队重点设计了两套数据合成流水线：基于图的合成与基于多文档的合成。
3.2.1 基于图的合成（Graph-based Synthesis）
为了构造出需要复杂推理路径才能解答的题目，研究人员没有凭空捏造问题，而是从 Wikidata5m 和 CN-DBpedia 等开源知识图谱中，进行了受控的子图采样。换句话说，他们把庞大的结构化知识网络当作“出题背景板”，从中精准截取一小块局部网络作为训练素材。
在构建这块局部网络时，团队采用了一套非常具体的拓扑构建策略，具体可以分三步理解：
挑选起点（种子节点） ：首先筛选出连接数（度数）在 3 到 10 之间的非通用实体作为“种子节点”。举个例子，如果起点连接数太少，话题太孤立问不出深度；如果起点太宽泛（比如“水”或“中国”），关联信息浩如烟海，容易跑题。选 3-10 个连接的节点作为起点刚刚好。 向外扩展 ：以种子节点为中心，采用广度优先搜索（BFS）算法像水波纹一样一层层向外扩散，最终圈定一个包含 10 到 40 个节点的子图。 防止语义漂移 ：如果在扩展过程中遇到了连接数极高（例如超过 1000）的“超级节点”，系统会强制截断，不再继续往下找，直接把它当作终点（叶子节点）。这就像在迷宫探索时遇到一个四通八达的大十字路口，为了防止逻辑越聊越远，直接在此止步，保证话题始终围绕核心展开。
数据骨架搭好后，如何将其转化为高质量的训练题？由于知识图谱里的三元组（triplets）（即“实体-关系-实体”的结构化数据）经常存在信息缺失或更新滞后的情况，团队绝不会直接用这些原始三元组来出题。相反，他们把子图中的每一条边（也就是每一个三元组关系）当作搜索词，去互联网上重新检索一遍，进行交叉验证和真实信息的补充扩充。最后，基于这个经过核实、结构扎实的子图，团队会提示大语言模型（LLM）生成一道带有“模糊性”的复杂问题。这道题无法一眼看穿答案，必须经过多步搜索和逻辑推理才能解开，系统也会同步生成对应的标准答案，直接用于后续模型的强化训练。
3.2.2 基于多文档的合成（Multi-document-based Synthesis）
这一节主要讲解模型如何在多份文档之间建立联系并提取关键信息。为了解决跨文档的联想检索（Associative Retrieval）问题，研究团队构建了一个自定义的文档索引库，命名为 Wiki-doc。该索引库直接借用了维基百科中原生的超链接网络结构。具体操作是：从一个随机选取的实体概念出发，通过提供几个参考案例的少样本提示（Few-shot Prompt），来引导网页搜索智能体（Web Search Agent）在文档库中沿着链接路径进行拓扑游走（Topology Walk）。
换句话说，你可以把这个智能体想象成一个“顺藤摸瓜”的信息搜集员。它在开始探索时并不知道最终要找的具体目标是什么，只需要按照指引顺着文章里的链接一步步跳转、挖掘内容。这个过程会持续进行，直到触达预设的最大跳转步数限制，或者它判断已经收集到足够多的信息为止。最后，团队会将智能体在这整条探索路径上抓取到的所有节点信息进行整合，通过逆向生成（Reverse-Generate）的逻辑，反向构造出一批包含（Query, Answer）（问题，答案）的高质量训练数据对，从而让模型学会如何从分散的资料中拼凑出完整、准确的回答。
3.2.3 难度过滤（Difficulty Filtering）
为了保证训练数据中的规划任务（Planning Tasks）具有足够的挑战性，避免模型在过于简单的问题上浪费计算资源，作者设计了一套“难度过滤”机制。该机制使用 QwQ-32b 模型作为“筛选器”。
核心逻辑 ：将收集到的问题交给 QwQ-32b 模型测试。如果该问题能在默认的 ReAct 框架（ReAct Framework，一种结合“思考-行动-观察”循环的智能体运行模式）下被顺利解决，它就会被直接判定为“简单问题”，并从训练集（Training Set）中剔除。
为什么选择 QwQ-32b 作为过滤器？ 因为它与本文最终要训练的模型拥有完全相同的基座模型（Base Model）和预训练知识（Pre-training Knowledge），唯一的区别是 QwQ-32b 没有经过大量针对智能体（Agent）的专项训练。换句话说，如果一个连“没受过特训的基础版同类”都能轻松搞定的任务，自然也不值得让最终模型花费大量算力去专门学习。只有那些 QwQ-32b 无法直接解决的复杂任务，才会被保留下来作为高质量数据，用于真正提升模型的深度研究能力。
举个例子 ：这就像为竞赛班筛选题库。如果一道基础的算术题（例如 ），连刚学完课本但没上过辅导班的学生都能秒答，那这道题就不需要放进“奥数集训营”的教材里。只有那些需要多步推理、容易出错的题目，才会被留下来用于高阶训练。这里的难度过滤正是起到了这种“去水留精”的筛题作用，确保模型后续的训练始终聚焦在真正有难度的任务上。
3.3 能力三：反思、验证与交叉检验（Capability III: Reflection, Verification & Cross-Validation）
在处理需要长时间、多步骤推导的任务时，模型需要具备两项关键本领：第一是能够主动发现自己的推理漏洞并进行自我纠正（Self-Correction）；第二是能够辨别从互联网上获取的信息是真是假，也就是事实核查（Fact-Checking）。为了训练模型掌握这两项能力，研究团队专门设计了一套闭环流水线（closed-loop pipeline），用来批量生成对应的训练数据。换句话说，就是人为制造“犯错、检查、改正”的学习场景，让模型在模拟环境中不断积累经验。
3.3.1 错误-反思循环（The Error-Reflection Loop）
面对那些需要深度挖掘信息的复杂查询（deep information seeking query），团队采用了一套固定的三步闭环流程：“专家模型生成 结果验证 多轮反思”，以此来制造高质量的思维轨迹（thought trajectory）。举个例子，就像让学生做一道综合应用题，老师先批改，做错了就要求学生写下错因，然后重新做题。这个流程的核心目的，是让模型通过复盘失败的路径，提升它在复杂检索环境中的抗干扰能力（antiterference ability）和交叉验证（cross-validation）水平。
具体的数据合成步骤如下： 首先，一个水平较高的专家模型会先生成一条初步的搜索与推理路径。如果它最终给出的答案与标准答案一致，这条路径就会被直接当作优质样本存入训练集。 如果结果对不上，系统会构造一个特定的提示词，让模型针对刚才的错误结果进行“反思”。反思完成后，模型会记住之前的错误教训，带着历史记忆重新尝试生成新的推理路径。这个“试错-反思-重试”的过程最多会循环3次，模拟人类不断修正思路的学习过程。
对于那些经过几轮反思最终找到正确答案的路径，团队还会进行一项特殊的“数据清洗”操作。他们会仔细剔除数据中带有明显人工诱导痕迹的短语（例如“根据用户提示……”或“系统告诉我……”）。这样做是为了让最终的文本看起来完全是模型自发进行的内省和纠错，而不是被外部指令强行纠正的。 这种训练策略不仅强化了模型搜集未知信息的能力，更重要的是，它教会了模型如何通过对比多个网页来源，自动过滤掉网络上不可靠的谣言或过时数据。最终，这能显著降低生成报告时的“事实性偏差”（factual bias），让产出的研究报告更加客观准确。
3.3.2 深度验证工作流（Deep Verification Workflow）
为了让模型在处理复杂的深度研究任务时，事实核查更加严谨可靠，研究团队首先从脱敏的真实数据中清洗出了成千上万组（段落，评判结果）数据对，作为初始的训练种子。接着，他们设计了一个多智能体教师工作流（multi-agent teacher workflow） ，用来模拟人类专家一步步核实信息的过程。这个工作流的每一步操作都会被完整记录下来，形成一条智能体轨迹（agent trace） ，供模型学习。整个系统由以下五个分工明确的智能体协同工作：
提取智能体（Extract Agent） ：相当于“信息拆解员”。它负责分析输入材料并进行事实拆解。换句话说，给出一段冗长的自然语言描述，它会把里面的时间、地点、核心人物、关键数据和因果事件单独拎出来，转化成一个个独立的验证点，避免信息混杂。 规划智能体（Plan Agent） ：相当于“路线规划师”。它会针对上一步列出的每一个验证点，评估是否有必要去查证，并确定需要哪种类型的信息来源。最后，它会按照任务之间的逻辑依赖关系，生成一份初步的行动计划。 验证智能体（Verify Agent） ：相当于“一线调查员”。它负责执行具体的查证动作，通过调用搜索工具和基础模型，进行多源信息检索，并将不同渠道获取的内容进行交叉比对（Cross-Validation）。 重规划智能体（Replan Agent） ：相当于“动态导航员”。在查证过程中，它会根据已经获取的信息实时总结，并及时调整研究方向。举个例子，如果初步搜索发现某个线索相互矛盾或走不通，它会立刻改变策略，从而大幅减少无效的重复搜索，提升复杂路径下的决策质量。 报告智能体（Report Agent） ：相当于“结案分析师”。它负责汇总整个查证过程的所有证据，为每一个验证点给出明确的最终结论（支持、反驳或存疑），并附上完整的引用证据链，做到结论有据可查。
生成这些验证轨迹后，系统会执行严格的后置过滤（posterior filtering） 。具体来说，系统会将每一个“验证点”、“最终结论”和“支撑证据”打包成一个三元组，输入到一个评判模型（judge model）中。这个模型会仔细检查报告结论与背后的证据在逻辑上是否完全自洽（即结论是否真的能被证据推导出来）。通过这套严格的筛选机制，确保了最终喂给模型的学习范式，不仅在事实层面上准确无误，在逻辑推演上也经得起推敲。
3.4 能力四：报告生成（Capability IV: Report Generation）
撰写深度研究报告，并不是简单地让模型把找到的文字堆砌出来，而是一个将收集到的碎片化信息进行结构化重组的过程。为了高效培养这项能力，我们将训练过程拆分为两个侧重点不同的阶段：
中期训练（Mid-training）阶段 ：核心目标是让模型掌握特定领域的行文风格，并能写出有深度的专业内容。 监督微调（Supervised Fine-tuning, SFT）阶段 ：核心目标是让模型学会严格遵循用户指令，并符合特定的排版格式规范。
换句话说，训练报告生成能力就像教人写论文：先通过中期训练让模型“学会像专家一样搭建框架和深度论述”，再通过后续的微调阶段教它“如何严格按照甲方的格式要求交卷”。
3.4.1 中期训练：领域风格与内容深度（Mid-training: Domain Style and Content Depth）
在中期训练阶段，我们的目标是让模型“内化”专家级别的写作框架与专业术语。为此，我们构建了大规模的 (查询问题, 完整报告) 配对数据。这些数据主要来源于两个渠道：
高质量的人类报告 ：经过严格筛选的真实专家报告（例如金融研报、深度行业调研文章等）。 对应的查询指令 ：通过前文介绍的“逆向工程（Reverse Engineering）”方法反向推导生成，确保问题与报告内容精准对应。
在这个阶段，模型的学习重心完全不在“如何执行搜索” ，而是专注于模仿专家在给定课题下的写作方式。
举个例子帮助理解：假设我们要让模型学习撰写“宏观经济分析报告”。在中期训练中，我们会将大量真实的券商研报喂给模型。模型需要吸收的并不是“去哪里搜GDP数据”，而是：
专家是如何组织语言的（先宏观背景，再行业影响，最后投资建议）。 专家是如何专业地引用和解读数据的。 专家是如何展开层层递进的深度论证的。
通过这种针对性的学习，模型逐渐掌握了不同领域的行文节奏与深度分析能力，为最终输出结构严谨、内容扎实的研究报告奠定核心基础。
3.4.2 监督微调：指令遵循与格式规范（SFT: Instruction Following and Formatting Specifications）
在这个阶段，模型训练的重心从“学会搜集和思考”转向了“严格听话”和“按规矩办事”。这里的监督微调（SFT）可以看作是给模型上的“规范写作课”。它的核心目标是让模型不仅能把内容写详细，还要精准满足用户的具体限制条件，并保持整体框架的一致性。
为了让你更容易理解，我们可以将这个过程拆解为两个关键步骤：
1. 严格对照“预设大纲”进行检查当用户的查询请求中已经包含了一个研究计划时，模型生成的报告必须像填空题一样，严格遵循这个预设的结构展开。在数据准备时，我们会先让模型跑一遍完整的搜索与生成路径（即轨迹），然后像老师批改作业一样，将这些路径与原始计划进行逐一对齐检查。一旦发现模型跑题或者偏离了预设结构，这些样本就会被直接过滤掉，绝不用于训练。这一步确保了模型学会紧扣主题，不随意发散。
2. 利用提示词修复“排版格式”在实际生成中，经常会出现一种情况：模型查找的资料质量很高，推理过程也很严谨，但最终输出的报告格式却不符合用户的排版要求。针对这类内容优质但格式翻车的样本，我们不会直接丢弃，而是会引入一个专门的系统提示词（System Prompt）。这个提示词相当于一个排版模板，它会指挥模型基于最后一轮已经收集好的数据状态，重新将报告组织一遍。
换句话说，通过剔除跑题样本和模板重整格式这两道关卡的打磨，模型最终输出的报告不仅内容扎实，而且在指令响应度和格式规范上也能完美契合用户的需求，真正做到既专业又听话。
4 训练流程（Training Pipeline）
为了教会大模型处理复杂的推理链条和长周期任务，我们设计了一套循序渐进的“三阶段”训练方案。该方案建立在参数量为 320 亿（32B）的基座模型（Base Model）之上，依次包含中期训练（Mid-training）、监督微调（Supervised Fine-Tuning, SFT）和强化学习（Reinforcement Learning, RL）。这三个阶段按顺序执行，系统性地提升模型在复杂推理和长周期智能体（Agentic）任务中的综合表现。这种设计明确了每个阶段的分工：中期训练负责“能力扩展”，监督微调负责“行为对齐”，强化学习负责“目标优化”。
打个比方 ：这就像培养一名专业的研究员。
中期训练相当于“打基础与学技能”，让模型掌握任务规划、深度搜索、自我纠错和撰写报告等核心本领。 监督微调相当于“学规范与懂格式”，教模型严格遵循人类指令，并按照特定的排版和结构输出结果。 强化学习相当于“实战演练与复盘”，通过真实交互环境中的反馈信号，不断优化模型在实际决策场景中的表现。
我们最终选定了 Qwen2.5-32B-Base 作为底层基座。选择它主要是为了在模型性能、算力成本和实验可复现性之间取得平衡。32B 参数量的模型虽然不算超大规格，但已经展现出接近 72B 级别模型的指令遵循和逻辑推理核心能力，并且原生支持高达 128k 的上下文长度（Context Length），非常适合处理需要长周期记忆的智能体任务。更重要的是，32B 的体量大幅降低了多阶段训练的算力门槛，让研究团队能够轻松进行系统的对比实验。换句话说，使用这个模型能确保后续观察到的性能提升，真正归功于我们提出的训练流程和数据策略，而不是单纯靠“堆参数”。这也极大方便了开源社区进行复现和公平对比。
4.1 第一阶段：智能体中期训练（Agentic Mid-training）
为了在不盲目增加参数量的前提下，系统性地增强模型在长上下文理解、知识整合和工具增强推理方面的能力，我们在传统的预训练和指令微调之间，插入了一个“两阶段中期训练”。这个阶段通过精心构造的数据分布和上下文长度调度，让模型逐步适应更复杂、更长的序列任务，从而稳定地涌现出中长期推理、任务拆解和独立执行的能力。
整体而言，中期训练遵循一套“课程学习（Curriculum Learning）”的节奏：上下文长度从短向长推进，任务类型从纯知识学习逐步过渡到需要调用外部工具的实战任务。
32K 上下文的中期训练（Mid-training with 32K Context）第一阶段的核心目标是注入“原子能力（Atomic Capabilities）”，具体包括：规划与任务拆解、信息检索、反思验证以及报告生成。在这个中等长度的上下文中，我们并不急于追求任务的最终完成率，而是专注于构建高质量的专项训练数据。目的是让模型在规划、证据整合和自我修正这几个关键维度上，形成稳定且可泛化的中间认知表示。这为后续处理更长上下文和真实世界交互打下了坚实的地基。该阶段的数据主要覆盖上述四大能力维度，详细数据构成见原文 Table 1（以图片形式展示）。
其中，“学术主动阅读数据”是这一阶段的重点。它模拟了人类阅读长篇学术论文时的真实认知过程，引导模型学会从海量文本中精准定位关键信息，并通过问答和重写任务，将零散信息转化为结构化的内部知识。值得注意的是，本阶段不引入任何外部工具调用 ，目的是确保模型在纯文本条件下，先把底层的阅读理解与逻辑推理基本功练扎实。
训练过程中的性能变化趋势如下：
图2：32K 上下文中期训练期间的性能趋势。每训练 50 亿 token 保存一次检查点，汇报 SimpleQA、TriviaQA 和 FRAMES 基准上的平均准确率。随着训练 token 规模的增加，模型性能稳步提升，其中在 FRAMES 上的进步尤为显著，表明智能体能力与结构化推理能力得到实质性加强。曲线在 1500 亿 token 处尚未收敛，说明模型仍有较大的进步空间。
如图2所示，我们在 1500 亿 token 的完整训练周期中，每隔约 50 亿 token 记录一次性能指标。结果表明，随着训练数据规模的累积，模型在 SimpleQA、TriviaQA 和 FRAMES 三大评测基准上均表现出一致的进步。具体的性能增益分别为 （SimpleQA）、（TriviaQA）以及 （FRAMES）。总体来看，32K 阶段在 1500 亿 token 规模下尚未触及能力天花板，尤其是在涉及智能体交互和结构化推理的任务上，还留有充足的优化余地。
128K 上下文的中期训练（Mid-training with 128K Context）在 32K 阶段实现能力稳定收敛的基础上，第二阶段将最大上下文长度直接扩展至 128K，重心全面转向真实世界的复杂任务场景。此阶段重点强化模型在超长上下文下的信息检索、全局规划和工具增强推理能力。训练数据也更加贴近实际应用，广泛涵盖了网页交互、多步搜索流程以及多工具协同等复杂结构。该阶段的详细数据构成见原文 Table 2（以图片形式展示）。
在这个阶段，我们正式引入了明确的工具调用机制。换句话说，模型不仅要能生成连贯的中间推理步骤，还必须学会判断“何时需要借助外力”、“选择哪个工具最合适”，以及如何将工具返回的结果无缝整合到后续的推理链条中。这一改变显著提升了模型在类智能体（Agent-style）任务中的实战有效性。
为了更清晰地展示两个中期训练阶段的设计差异与递进关系，原文在 Table 3 中对关键维度进行了横向对比（以图片形式展示）。
4.2 阶段二：训练后监督微调（Stage 2: Post-training Supervised Fine-tuning）
在之前的“中期训练（Mid-training）”阶段，模型已经掌握了规划、信息检索等基础的单项技能（原子能力）。进入本阶段后，训练重点发生了转变：不再单独教授零散的技能，而是致力于将这些原子能力有机组合起来，从而提升模型在处理长周期、多步骤任务时的端到端（End-to-End）表现。换句话说，这个阶段的核心目标是“领域适应”与“性能增强”。我们会利用经过严格清洗的高质量全流程任务数据（轨迹），把模型已有的碎片化能力系统地串联起来，训练出一套高效、稳定，且深度契合“深度研究”场景要求的完整行为模式。
训练后监督微调的数据构成（SFT Data Composition）本阶段的训练数据主要包含两类端到端的任务轨迹：
深度搜索（Deep Search）数据：这类数据主要针对具有明确标准答案（Ground-truth）的多步搜索任务。虽然中期训练阶段已经引入过部分此类数据来打基础，但本阶段更强调“性能优化”和“思考路径的多样性”。我们会精心挑选问题分布均匀的高质量轨迹，并注入多种不同的推理模式。举个例子，面对同一个问题，有的轨迹可能先查百科再对比新闻，有的则直接查阅专业报告。让模型接触这些多样化路径，能使其学会根据不同问题灵活挑选最优解，从而实现从“仅仅能搜到结果”到“既能高效又能精准定位”的质变。 深度研究（Deep Research）数据：这类数据针对的是开放式的综合研究课题。数据完整覆盖了“理解用户意图 -> 制定研究计划 -> 交叉验证信息 -> 撰写最终报告”的全流程，并且对格式有极其严格的要求（例如必须规范引用和标注来源）。通过这种设计，模型会被反复强化一整套闭环工作逻辑，确保它能像专业研究员一样有条不紊地推进任务。
数据构建与清洗策略（Data Construction and Cleaning Strategies）训练后监督微调的效果高度依赖数据质量。为此，团队搭建了一套精细的数据处理流水线，结合硬性规则与算法过滤，确保喂给模型的每一条监督信号都足够优质。代表性策略包括：
轨迹效率优化：针对有标准答案的深度搜索任务，数据清洗时严格遵循“正确且最短”原则。在所有成功的搜索记录中，只保留推理步骤最少、工具调用最简洁的轨迹。这就像给模型树立一个“少走弯路”的标杆，鼓励它用高效的内部推理代替冗余的反复搜索，以最低的信息获取成本完成任务，从而戒掉“乱调用工具”的坏习惯。 鲁棒性与噪声控制：我们会按比例故意保留一部分包含工具调用错误（例如搜索结果为空、接口报错）的轨迹，但这些轨迹的后续步骤必须包含正确的反思与修正动作。这种“结构化噪声注入”非常关键，它能防止模型在现实网络环境不稳定时直接“崩溃”，并教会它面对异常情况时如何自我纠错、调整策略。 认知模式去重：采用严格的基于 $N$元语法（$N$-gram）的去重机制。系统会扫描数据中连续重复的词块序列，精准识别并剔除那些逻辑啰嗦、陷入死循环的低质量轨迹。这样做能确保模型在长期使用外部工具时，思维保持灵活多变，不会卡在同一种僵化的思考模式里。严格引用与事实对齐：为了满足深度研究报告的学术严谨性，训练数据中明确加入了引用格式标记 \cite{}。这相当于为模型定制了一套“学术写作模板”，引导它在输出关键信息时，自动在句末追加对应的参考文献。这种设计确保了输出内容有据可查、事实扎实，完全对齐专业领域的研究规范。
4.3 阶段三：强化学习（Stage 3: Reinforcement Learning）
在前两个训练阶段（中间训练和 监督微调（Supervised Fine-tuning, SFT）），模型主要依赖大规模合成与蒸馏数据进行训练。这种方法在教模型“听懂指令”和“掌握基础工具用法”时很管用，但它本质上是在模仿“老师”提供的标准解题步骤（Teacher Trajectories）。换句话说，模型并没有机会在真实环境中亲自试错、从失败中积累经验。
为了弥补这一短板，我们在第三阶段引入了强化学习（Reinforcement Learning, RL） 。它的核心思路是让模型直接接入真实的工具调用环境，通过不断的“尝试-获取反馈-调整策略”来优化自身能力。对于深度研究（Deep Research）而言，一份高质量报告不仅仅取决于是否找到了关键词，而是综合考察多个维度：任务如何科学拆解、研究计划是否合理、工具调用策略是否高效、证据如何交叉验证，以及最终报告的结构与深度。
目前业界的一种有效做法是，将报告质量评估拆解为一套结构化的评分细则（Rubric） ，并将这些细则的打分结果直接作为强化学习的优化信号。举个例子，如果模型在某次研究中遗漏了关键证据的交叉核对，系统就会根据“验证严谨性”这一细则给出低分，模型在后续的试错中就会自动调整策略。这种基于评分细则的强化学习，大幅增强了模型在主动规划、自我反思和多源信息比对方面的能力，突破了传统离线模仿训练的瓶颈，显著提升了最终效果与用户体验。
4.3.1 RL数据合成（RL Data Synthesis）
虽然小范围测试可以依赖专家手工制定的评分细则，但强化学习需要海量的高质量训练数据。完全靠人工收集既困难又极其昂贵，因此我们设计了一套自动化的数据生成流水线。
两步逆向合成法（Two-Step Reverse Synthesis）传统做法通常是“正向推导”：先拿到用户提问，再去拆解评分标准。但这种方法容易停留在字面理解，往往会忽略任务背后真正决定质量的关键维度。我们反其道而行之，采用“从标准倒推任务”的逆向思路：
第一步：生成评分细则与任务内核我们给大语言模型（Large Language Model, LLM）输入少量高质量范例与模板，让它先生成一段“隐藏的任务摘要”，并同步产出一套细粒度的评分细则。每条细则都被设计为一个原子级的评价单元，包含明确的评价维度和重要性权重，确保标准具体、可验证、可直接用于打分。同时，每条细则都会被赋予一个“角色标签”：显性要求（必须写明）、隐性要求（满足则加分）或负面要求（触发则扣分）。 第二步：逆向构造真实查询任务基于第一步生成的评分细则，模型会反向构思出一个贴近真实场景的用户查询问题。在这个过程中，模型会重新评估每条细则在这个新任务中的“角色”是否合理，并给出推理依据。如果发现第一步和第二步的角色设定出现冲突（比如原本是加分项，构造出的任务里却变成了必选项），该样本会被直接丢弃。这一步保证了生成的任务查询与评分细则在语义和逻辑上高度对齐，既覆盖表面要求，也囊括深层需求。
目标一致性验证（Objective Consistency Verification）为了防止数据在逆向生成的过程中逻辑“跑偏”，我们引入了一个严格的质检环节。系统会调用一个独立的裁判模型（Judge Model） ，专门负责核对“隐藏任务摘要”、“评分细则”和“最终生成的用户任务”三者之间是否自洽。裁判模型会逐条审查细则与任务目标的关联度，确保不存在逻辑矛盾，并给出一个总体一致性分数。只有分数达标的样本才会被保留进入训练集。这一步相当于为强化学习数据加了一道“质量安检门”，确保喂给模型的每一条反馈信号都是准确、可靠的。
4.3.2 奖励设计（Reward Design）
评分裁判模型训练（Rubrics Judge Training）
在深度研究报告的评估场景中，如果直接让大型大语言模型（Large Language Models, LLMs）根据完整的评分标准（Rubrics）给每份报告打细致分，每个样本需要进行几十次模型推理才能覆盖所有评估维度。这种方法在大规模智能体（Agentic）强化学习（Reinforcement Learning, RL）训练中会带来极高的计算成本和延迟。研究发现，要让大语言模型裁判（LLM Judge）的打分结果与人类专家保持一致，关键在于评分标准本身的质量是否清晰，而不是裁判模型本身的绝对能力有多强。
因此，研究团队先让一个强大的基座模型对构建好的 <查询问题, 评分标准, 生成报告> 组合进行打分并写出评价理由，把这些结果当作“标准答案”。接着，用这些标准答案来训练一个专用的“评分裁判模型”。该模型分两步训练：
监督微调（Supervised Fine-Tuning）阶段 ：目标是让模型模仿强大模型的打分逻辑和解释风格，建立基础的辨别能力。 强化学习（RL）阶段 ：引入可验证奖励，进一步约束模型，使其输出格式更加规范，打分逻辑更加稳定抗干扰。
最终，这个训练好的专用裁判模型成为本阶段主要的奖励信号提供者。它既保证了评分信号的高质量，又将算力成本控制在合理范围内，从而顺利支撑起大规模的智能体强化学习训练。
严格奖励映射（Strict Reward Mapping）
在最初尝试用评分标准评估报告时，团队将每个标准的判定结果分为三类：“完全满足”、“部分满足”和“未满足”，并直接将其映射为三元判定值 。但在实际测试中发现，不同强模型裁判之间，以及模型裁判与人类专家之间，在“部分满足”这一中间类别上的分歧很大。这种中间地带的不一致会导致奖励信号频繁波动，模型难以获得稳定的优化方向，从而削弱其遵守约束条件的能力。
为了提供更清晰、易区分的奖励信号，团队根据评分标准的性质，将三元判定严格转化为二元信号（非 0 即 1）：
正面向度（Positive Rubrics） ：将“完全满足”映射为 1，将“部分满足”和“未满足”统一合并为 0。这遵循了“非完美即无奖”的原则，防止模型通过生成低质量内容来投机取巧混分。 负面向度（Negative Rubrics） ：将“未满足”映射为 0，将“部分满足”和“完全满足”统一合并为 1。这确保任何偏离期望的不良行为都会受到惩罚，帮助模型主动避开错误。
报告的最终奖励会综合每个评分标准的判定结果及其对应的权重（权重可正可负）。这种非对称的二元映射彻底清除了中间类别的噪声，使得奖励信号更具区分度，大幅加速了模型向专家期望行为收敛的速度。
以下使用 Python 代码实现上述严格奖励映射与最终得分计算逻辑，并附带具体输入演示：
defcalculate_strict_reward(judgments, is_positive_list, weights):""" 计算报告的最终严格奖励分数 :param judgments: list, 每个评分标准的判定结果，取值 'fully'(完全满足), 'partial'(部分满足), 'not'(未满足) :param is_positive_list: list, 布尔值，表示对应标准是正向(True)还是负向(False) :param weights: list, 每个评分标准对应的权重（可正可负） :return: float, 最终加权奖励得分 """ final_reward = 0.0# 遍历所有评分标准进行二元映射与加权求和for judgment, is_positive, weight in zip(judgments, is_positive_list, weights): score = 0.0if is_positive:# 正向标准映射：仅完全满足得 1 分，其余均为 0 分if judgment == 'fully': score = 1.0else: score = 0.0else:# 负向标准映射：仅未满足得 0 分（即触发负面行为扣分），其余得 1 分if judgment == 'not': score = 0.0else: score = 1.0# 累加当前标准的加权得分 final_reward += score * weightreturn final_reward# === 示例执行过程 ===# 假设报告面临 3 个评估标准：# 1. 逻辑严密性（正向，权重 1.0）-> 模型输出判定为 'partial'# 2. 无虚构事实（负向，权重 -2.0） -> 模型输出判定为 'fully'（满足无虚构，得高分）# 3. 引用规范（正向，权重 1.5） -> 模型输出判定为 'fully'std_judgments = ['partial', 'fully', 'fully']std_is_positive = [True, False, True]std_weights = [1.0, -2.0, 1.5]final_score = calculate_strict_reward(std_judgments, std_is_positive, std_weights)print(f"原始判定结果: {std_judgments}")print(f"标准正负向: {std_is_positive}")print(f"标准权重: {std_weights}")print(f"计算过程说明:")print(f" - 标准1(正向,权重1.0) 'partial' -> 映射为 0 -> 贡献得分: 0 * 1.0 = 0.0")print(f" - 标准2(负向,权重-2.0) 'fully' -> 映射为 1 -> 贡献得分: 1 * -2.0 = -2.0")print(f" - 标准3(正向,权重1.5) 'fully' -> 映射为 1 -> 贡献得分: 1 * 1.5 = 1.5")print(f"最终奖励得分: {final_score}")4.3.3 智能体强化学习（Agentic Reinforcement Learning）
真实环境下的工具交互（Real-world Environment with Tools）
为了让模型真正学会如何在现实限制下完成复杂的深度研究任务，我们在强化学习（Reinforcement Learning）阶段将它放入一个支持多工具交互的真实模拟环境中。在这个环境里，模型可以自由地在“生成自然语言文本”和“调用外部工具”之间反复切换。为了控制高昂的计算与网络请求成本，我们引入了结果缓存机制：如果模型再次输入完全相同的搜索词，系统会直接复用之前的搜索结果，避免重复请求网络。同时，我们给模型设定了明确的“预算”，比如严格限制工具调用的总次数和 token（文本基本单位，此处保留原文不翻译）消耗总量，从而确保整个训练过程在可控的资源范围内运行。
在该环境中，每一个深度研究任务都被视为一个完整的强化学习回合。模型首先会分析用户的真实意图并重述问题，随后制定分步计划，围绕不同的子问题去调用工具并搜集资料。接着，它会对多来源的信息进行筛选、对比和交叉验证，最终起草一份完整的研究报道。当回合结束时，专门的评分系统（Rubrics Judge）会根据预设的详细评分标准对报告进行多维度打分。这些分数会被严格映射为奖励信号，用于更新模型的行为策略。通过不断重复这种“尝试-反馈-修正”的试错过程，模型逐渐学会了如何像人类专家一样挑选合适的工具、把握调用时机以及安排调用顺序。
PPO 算法原理（PPO Algorithm）
我们将深度研究智能体在多工具环境中的行为建模为一个由单一策略 控制的顺序决策过程。在每一个时间步 ，给定当前状态 （包含用户请求、模型已生成的历史文本以及工具返回的观察结果），策略会输出一个动作 。这里的动作既包括生成普通的文本 token，也包括结构化的操作决策，例如发起工具调用、设定工具参数或解析工具返回的内容。完成一轮完整交互会得到一条交互轨迹 。当回合终止时，评分系统会给出一个最终奖励 。基于这一设定，我们使用裁剪版近端策略优化（Clipped Proximal Policy Optimization, PPO）目标函数进行同策略优化：
其中，重要性采样比率定义为：
该目标函数利用 裁剪机制明确限制了每次策略更新的步长，从而在长序列生成和稀疏终局奖励的场景下维持训练稳定性。对于优势估计，我们采用广义优势估计（Generalized Advantage Estimation, GAE）：
为了与业界先进实践保持一致，我们在 GAE 中设定 和 ，即不对未来回报做折现，也不进行额外的指数平滑。这一选择大幅简化并加速了在稀疏奖励的超长序列任务中计算信用分配的过程。
下面将论文中的核心公式（1）、（2）、（3）转化为可运行的 Python 代码，帮助理解其实际计算过程：
import numpy as npdefppo_gae_computation(pi_old_probs, pi_new_probs, step_rewards, state_values, gamma=1.0, lam=1.0, epsilon=0.2):""" 计算公式(2)重要性比率、公式(3)GAE优势估计 以及 公式(1)PPO裁剪目标值 注意：公式(3)中的 r_t 代表即时奖励(reward)，为避免与公式(2)混淆，此处代码中用 reward_t 表示。 """# 公式 (2): 计算重要性采样比率 r_t(θ) = π_新 / π_旧 importance_ratio = np.array(pi_new_probs) / np.array(pi_old_probs)# 公式 (3) 第一部分: 计算 TD误差 δ_t = reward_t + γ * V(s_{t+1}) - V(s_t)# step_rewards 长度为 T+1，state_values 长度也为 T+1 deltas = []for t in range(len(step_rewards) - 1): delta_t = step_rewards[t] + gamma * state_values[t+1] - state_values[t] deltas.append(delta_t)# 公式 (3) 第二部分: 计算 GAE 优势估计 gae_advantages = np.zeros(len(deltas)) running_gae = 0.0# 从时间序列末尾向前递推计算for l in range(len(deltas) - 1, -1, -1): running_gae = deltas[l] + (gamma * lam) * running_gae gae_advantages[l] = running_gae# 公式 (1): 计算 PPO 裁剪目标函数项# clip(r, 1-ε, 1+ε) 防止策略更新幅度过大 clipped_ratio = np.clip(importance_ratio, 1 - epsilon, 1 + epsilon)# min(ratio * A, clip(ratio) * A) 选择较小值作为损失 ppo_objectives = np.minimum(importance_ratio * gae_advantages, clipped_ratio * gae_advantages)return importance_ratio, gae_advantages, ppo_objectives# === 示例演示 ===# 假设一个包含4个时间步的简化交互轨迹pi_old = [0.50, 0.40, 0.30, 0.20] # 旧策略在各步的动作概率pi_new = [0.52, 0.38, 0.28, 0.18] # 新策略在各步的动作概率rewards = [1.0, 1.5, 2.0, 5.0] # 各步获得的即时奖励 (对应公式3的 r_t)values = [0.8, 1.2, 1.6, 5.5] # 评论家网络评估的各状态价值 V(s_t)ratios, advantages, objectives = ppo_gae_computation(pi_old, pi_new, rewards, values)print("1. 重要性比率 r_t(θ):", np.round(ratios, 4))print("2. GAE 优势估计 A_t:", np.round(advantages, 4))print("3. PPO 目标函数各项 J(θ):", np.round(objectives, 4))我们之所以选择 PPO 而不是不带评论家（critic-free）的策略梯度变体，主要是因为训练好的评论家网络（Critic）能够提供更可靠的 token 级价值估计。相关研究表明，评论家能够有效识别并压低诸如“文本重复死循环”这类有害模式，从而得到更稳健的优势估计值，显著提升训练稳定性。相比之下，缺乏显式价值函数的方法很难区分“偶然碰巧拿到的分数”和“伴随不良行为的分数”，容易引发错误的强化甚至训练崩溃。
这一点在智能体环境和深度研究任务中尤为关键：撰写研究报告通常涉及超长步骤、跨多源检索以及多轮工具交互。如果仅依赖一个最终的宏观评分，很难将反馈精细地分配到中间的决策节点（例如检索策略的选择、证据的筛选、交叉验证的执行以及结构化写作）。策略更新很容易退化成粗糙的“整体好或整体坏”判断。PPO 的“演员-评论家（Actor-Critic）”结构恰好填补了这一需求，它能提供可执行的、细粒度到每个 token 级别的学习信号。
图3：强化学习（Reinforcement Learning）训练奖励曲线变化趋势
训练动态（Training Dynamics）
强化学习过程的训练动态如图3所示。随着训练步数的推进，奖励曲线呈现出稳定且持续的上升趋势，这直观地证明了智能体正在当前的任务分布中有效地优化其行为策略，逐步掌握更高质量的深度研究能力。
5 系统架构（System Architecture）
Step-DeepResearch 的核心是一个基于 ReAct（推理与行动范式）的单体智能体（agent）架构。简单来说，它把原本极其复杂的深度研究任务，拆解成了一个动态的“思考-行动-观察”循环。当你输入一个问题时，系统不会一次性给出答案，而是通过明确的逻辑推理和调用各种工具，进入一个不断迭代的工作流程。正如图 4 所示，这个流程主要包含三个核心阶段：
图 4：Step-DeepResearch 系统架构。该 agent 在 ReAct 循环中运行，利用专用工具集（如 batch_web_surfer、todo、shell）进行规划、执行和反思，从而生成全面的研究报吿。
规划与反思（Planning & Reflection） ：智能体首先会拆解你的意图，制定初步的行动方案。在后续的每一步中，它会像人类研究员一样，主动回头检查已完成的步骤是否偏离了最初目标，实现动态的自我纠错。 工具执行（Tool Execution） ：将纸面计划转化为实际操作。智能体会根据当前需要，精准调用最合适的工具（例如用 batch_web_surfer去批量搜索网页，或用todo跟踪任务列表）来发起数据请求。反馈与交叉验证（Feedback & Cross-Validation） ：新拿到的数据不会直接堆砌，而是被注入到下一轮推理中。智能体会将新信息与历史上下文进行交叉比对——找出矛盾点、过滤虚假内容，最终拼接出一条逻辑严密、证据确凿的研究链条。
这种机制让智能体能够自己判断“研究还要挖多深”，直到它认为信息足够完整为止。为了应对深度研究中常见的“推理链条长、人机交互多、环境不确定性高”等难点，我们专门设计了一套统一的工具系统。换句话说，这套系统在设计时主要遵循了三个原则：一是能力对齐，让智能体的操作手感尽可能贴近人类在电脑上做研究的方式；二是信息自适应，工具输出必须结构化、高密度，同时严格计算 token 消耗并预留失败恢复路径；三是架构简化，把功能相近的工具尽量合并，但不牺牲灵活性。下面详细介绍这套系统的三大核心模块：
权威增强型信息获取（Authoritative Enhanced Information Acquisition）
互联网上的信息鱼龙混杂，为了过滤低质噪音、保证研究结论建立在可靠来源上，我们构建了一套高质量信息检索系统。
精选权威索引（Curated Authority Indexing） ：我们组建了专业团队，人工筛选了超过 600 个核心权威站点（覆盖政府官网、行业智库、国际组织和顶尖学术平台）。我们为这些站点建立了独立的索引库，从底层物理和逻辑上把权威内容与低质量的 SEO 广告彻底隔离开，显著提升了搜索结果的稳定性。 知识密集型文档检索（Knowledge-Dense Document Retrieval） ：针对专业论文、财报、白皮书等长篇文件，系统内置了一个包含超 2000 万高质量条目的专用数据库。举个例子，传统检索可能会把整本上百页的财报全部塞给模型，不仅容易引入无关信息，还会消耗大量 token。我们的系统采用“段落级”索引，只召回与问题高度相关的特定段落，用更低的成本获取信息密度更高的内容。 权威感知排序（Authority-Aware Ranking） ：在搜索结果排序阶段，算法会加入“权威加分项”。当几个网页的语义匹配度差不多时，系统会优先展示来自权威站点的内容。此外，搜索接口支持动态参数调节，能根据你的具体意图自动切换搜索策略。
知识管理与文件操作（Knowledge Management & File Operations）
我们把本地文件系统当作智能体的“外接硬盘”，将传统电脑文件操作改造成了适合智能体调用的协议。这一改造的核心目的是极致优化 token 使用效率，并保障长流程工作的稳定性。
基于补丁的高效编辑（Token-Efficient Patch-based Editing） ：如果每次修改报告都要把全文重新生成一遍，不仅浪费 token，还会让中等参数量的模型难以处理。为此，我们引入了补丁（patch）机制。智能体只需指出要修改的片段和少量前后文，工具就会通过模糊匹配进行精准替换。举个例子，在长篇报告的局部润色场景中，这种设计能减少超过 70% 的 token 消耗，并大幅提高复杂修改的成功率。 隐式上下文管理（Implicit Context Management） ：智能体的短期记忆（上下文窗口）是有限的。为了防止检索内容过多导致记忆溢出，我们设计了“摘要优先+按需读取”的策略。当工具返回的内容过长时，系统会自动截断，只把高密度摘要塞进对话上下文，原始长文则默默存入本地临时文件。后续智能体只需根据摘要提示，通过 file.read命令按需读取具体段落。换句话说，这相当于把记忆压力转移到了硬盘上，让智能体在理论上拥有了无限的推理上下文。状态化任务管理（Stateful Todo Management） ：在长达数小时的研究中，智能体很容易“跑题”。为此， todo工具将复杂的增删改查（CRUD）操作封装成了统一接口，能根据当前任务队列自动判断该新建、重写还是清理任务。通过把研究进度独立于模型参数之外并持久化保存，确保了在超长交互过程中目标始终不偏离。
交互式执行与多模态感知（Interactive Execution & Multimodal Perception）
为了填补基础代码执行与专家级问题解决之间的差距，我们搭建了一个高保真的交互框架，并配备了全套多模态感知工具，让智能体在处理复杂数字任务时既精准又灵活。
拟人化终端交互（沙盒与 Tmux 集成） ：所有代码命令都在安全的 MCP 沙盒内运行。系统深度集成了 tmux会话管理技术，维持了一个持久的终端滚动缓冲区。这意味着当智能体操作具有状态刷新特性的命令行程序（如vim编辑器或实时监控面板）时，界面不会因为翻页而丢失上下文。这赋予了智能体类似人类的交互式调试能力，遇到复杂报错时也能从容排查。感知优化的弹性浏览器 ：针对研究场景，我们设计了视觉冗余过滤机制。系统会实时计算连续操作前后网页截图的 PHash（Perceptual Hash，感知哈希）距离。如果页面肉眼看不出明显变化，系统就会主动拦截图片反馈，只返回纯文本。换句话说，这既保证了智能体能实时掌握页面状态，又砍掉了大量不必要的多模态 token 开销。 多模态感知工具（Multimodal Perception Tools） ：面对五花八门的非结构化资料，系统集成了专用解析模块： file_parser负责文档深度解析，asr负责音频语音转文字，analyze_image负责图像内容理解。这套组合拳确保了智能体能高质量地消化各类复杂的研究素材。
6 定制化深度研究评测基准（Custom Deep Research Benchmark）
深度研究（Deep Research）这类产品主要是用来处理那些开放性强、极其复杂的任务的。但一直以来，给这类系统打分评测都是一道难题，主要卡在三个地方：评分标准大家各说各话、结果很容易受主观影响，而且对评测人员的专业知识要求极高。为了能科学、高效地指导模型版本更新，同时真实反映普通用户的实际感受，我们设计了一套“双轨评测框架（dual-track evaluation framework）”。简单来说，就是把评测分成两条平行的轨道：一条侧重普通大众在日常使用中的体验（通用领域），另一条则侧重垂直专家在专业场景下的能力表现（专业领域）。本章将系统地为大家梳理我们在搭建这个基准（ADR-Bench）时的核心方法、关键发现和实战经验。内容会详细拆解题目是怎么设计的、评测流程架构长什么样、评分标准如何制定，以及我们过程中遇到的困难和做的探索，希望能给未来类似复杂任务的评测工作提供一份实用的参考。
图5：ADR-Bench 的题目分布（The query distribution of ADR-Bench）
6.1 题目构成（Query Composition）
为了摸清评测题目的设计思路，我们先深入研究了用户日常使用深度研究功能的真实场景，并邀请相关领域的专家起草了一批初始题目。但这些初始题目并不完美，我们进行了多轮实际测试，把那些不太贴合深度研究特性或难度不合适的题目筛选出来，并进行了修改完善。最终，结合真实业务场景中的实际数据分布，我们将所有收集到的题目划分到了九个具体领域，分别是：法律、计算机与信息技术、教育、金融与商业、科学与工程、社会生活、文学与艺术、医疗健康以及政治。
为了让整个评测体系更加严谨，同时能更精准地衡量系统在不同难度下的表现，我们把这九个领域重新归类，划分成了“通用”和“专业”两条主赛道。 举个例子，在“专业赛道”中，我们特意挑选了“法律”和“金融与商业”这两个对准确性与逻辑要求极高的领域作为代表。这两个领域的题目和对应的“评分细则（rubrics）”全部由行业专家亲自编写，并且经过了严格的交叉验证（cross-validation）来确保公正性。为了保证评测深度，每个专业领域都准备了20道高质量的专业题目。 而剩下的七个领域则被划入“通用赛道”。针对这些领域，我们直接从真实的业务日志中提取了大量用户的原始提问。接着，人工从中精挑细选出质量高、覆盖广且极具代表性的样本，每个通用领域分配了10道题目。这九大领域具体的题目数量与分布比例，已经在上面的图5中直观地展示出来了。
6.2 评估框架（Evaluation Framework）
这一部分主要介绍了如何科学地检验模型生成深度研究报告的质量。由于日常问题和专业问题在复杂度、答案确定性上差异巨大，作者团队采取了“分而治之”的评估策略，分别设计了通用领域和专业领域两套评估方案。
通用领域（General Domain）的评估：采用人工对比打分通用领域的问题通常比较开放、范围较广（例如“请总结近十年新能源汽车的市场演变”），这类问题往往没有唯一的标准答案。如果用死板的打分细则去硬套，很难客观反映真实质量。因此，团队采用了人工对比评估（Human Comparative Evaluation）的方法。 具体流程是怎样的？举个例子：针对同一个任务，系统会随机抽取两个不同模型生成的报告，在盲审（Blind-Review，即评估员不知道报告出自哪个模型）的条件下交给人工评审员。评审员需要完成两项工作：
给出整体倾向判断 ：从“左优 / 右优 / 两者皆好 / 两者一般 / 两者皆差”五个档位中选择一个。 四个维度的细分打分 ：围绕信息完整度（Information Completeness）、内容深度（Content Depth）、需求契合度（Requirement Fitness）和可读性（Readability）四个指标进行量化打分，并必须附上详细的文字理由。 换句话说，这种“左右对比”的方式就像把两份作文放在一起横向比较，比单独给一份作文打绝对分要靠谱得多。它提供了一个参照锚点，有效缓解了开放式场景下评分标准模糊带来的主观偏差，能更精准地捕捉用户对报告质量的真实感受。为了保证评估结果的可靠性与一致性，评审员都经过了系统培训，整体和细分维度的打分标准、盲审流程都被严格规范化，从而最大程度削弱个人偏好的干扰。
专业领域（Professional Domain）的评估：采用基于评分细则的自动化评估专业领域主要选取了金融（Finance）和法律（Law）作为代表，重点考察模型输出专家级报告的能力。这类任务高度依赖垂直领域的专业知识与复杂的逻辑推理。如果完全依赖人工对比，成本极高且耗时费力，无法满足模型快速迭代的需求。 因此，在专业场景下，团队转向了基于评分细则的自动化评估（Rubric-based Automated Evaluation）。其核心逻辑是：先由领域专家筛选出具有代表性、边界相对清晰的真实业务任务；接着，通过多轮专家交叉验证（Expert Cross-Validation），反复打磨并确认一套高质量的评分细则（Rubrics）。这套细则会穷举专业报告必须包含的核心要素与关键指标。当模型生成报告后，程序可以直接对照细则进行自动化核验。这种方法在保证严谨性的同时，大幅提升了评估效率，能够稳定监控模型的专业知识储备与业务推理水平。
整体而言，这套评估框架在通用场景下侧重捕捉真实使用体验中的质量差异，在专业场景下依托高质量细则严密跟踪业务能力，在科学性、落地可行性和迭代效率之间取得了平衡。随着模型能力不断逼近天花板，未来不同模型之间的差距会越来越小，评估的区分度会下降且成本会上升，团队后续也将探索更具扩展性的评估范式来应对这一挑战。
6.3 评估标准（Evaluation Criteria）
基于前文介绍的评估框架，我们对自己的模型以及行业内的相关竞品进行了横向对比测试。本小节将详细说明具体的打分标准，并解释制定这些标准背后的设计思路。简单来说，就是明确“到底该怎么给 AI 生成的深度研究报告打分”。
表4：大语言模型（LLM）响应评估指标与指南
在通用领域的对比测试中，我们可以使用表4的简化版标准来进行打分。这里有一个非常关键的考量点：在“深度研究（Deep Research）”这类开放式的长篇幅报告任务中，想要百分之百准确地去验证文章里的每一个细节是不现实的，而且会带来巨大的人力和时间成本。举个例子，如果 AI 生成了一份长达五千字的行业分析，人工逐字核对所有引用来源几乎是不可能完成的任务。因此，我们在实际操作中并不要求面面俱到地检查，而是规定评审员只需重点核实那些直接与任务要求挂钩、且会实质性影响报告质量的关键结论或核心数据 。我们将这一核对要求，直接整合到了“与用户需求的一致性”这个评分维度中。换句话说，只要 AI 抓住了用户最关心的核心痛点，并且关键事实没有硬伤，就能获得该维度的认可。
此外，由于各项评分维度在实际阅读过程中很难完全割裂（比如文笔流畅的报告可能会让评审员不自觉地忽略某些逻辑瑕疵），我们明确规定：评审员在针对某一维度打分时，必须“只看这一项，别管其他项”。例如在评估“逻辑结构”时，只需判断段落衔接是否顺畅、层次是否分明，而不必因为专业术语使用不够精准而扣分，确保每个维度的得分客观独立。
表4（续）
针对医疗、金融等垂直专业领域，我们会要求领域专家在出题时，尽量收敛答案的开放空间，使题目具备相对明确的核心共性，从而保证不同评审员之间有统一的评判基准。
表5：构建评估量规的原则与标准（Rubrics）
为了保证我们的评分手册（即评估量规）本身是科学且好用的，其设计必须严格遵循表5中总结的五大核心原则。这些原则相当于给“评分说明书”定下的底层规矩，确保整个评估流程既有据可依，又能在实际应用中高效落地。
6.4 探索性尝试（Exploratory Attempts）
在评估深度研究（Deep Research）能力的过程中，研究团队进行了大量尝试并积累了重要经验。深度研究是一项极其复杂且主观性很强的任务，想要建立一套科学、严谨的评估框架非常困难。分享这些踩坑与总结，旨在推动未来针对“难以直接验证”任务的方法学研究。
Domain Segmentation（领域划分）在构建评估框架初期，团队优先尝试对查询请求按“领域”进行分类，这直接决定了评估数据集的组成和分布比例。经验表明：领域划分得太少，会导致评估覆盖面不足；划分得太多，又容易产生频繁重叠（例如一个问题可能同时属于“科技”和“金融”）。重叠会让跨领域的统计和模型表现分析变得混乱，降低数据价值。最终发现，将领域控制在 6 到 12 个左右最为合理。分类方案不需要追求绝对正确，但必须遵循一个核心原则：划分结果要能指引你快速找到每个领域对口的专家或评估员。
Segmentation of evaluation dimensions（评估维度划分）在对比测试中，给一个整体打分能帮助评估员快速表达两份报告的整体感知差距。汇总多项得分也能分析模型的整体优缺点。但仅靠总分就像只看考试总成绩，无法知道模型具体哪里薄弱，难以指导后续迭代。因此，拆解详细的评估维度是必要的。 团队的经验是，每个评估维度应满足三个要求：独立（Independence）、明确（Explicitness）、可执行（Executability）。
独立性 ：维度之间尽量解耦。实际很难完全独立，但评估时应只聚焦当前维度，忽略其他干扰。 明确性 ：每个维度必须有清晰的评判标准和具体要求，不能模棱两可。 可执行性 ：维度必须在实际操作中行得通。举个例子，面对一篇长篇研究报告，如果要求人工逐项核对每一个论点或数据，不仅工作量巨大，而且人工核验本身并不可靠，这就失去了可执行性。
Model-generated rubrics（模型生成的评分标准）团队曾尝试让 Gemini 等高性能大语言模型（LLM）直接根据标准报告（gold-standard reports）自动生成评分细则，再由人工润色。但发现以下问题：
标准报告与理想报告之间的差距，直接决定了生成细则的质量。人工修改时极易受模型草稿影响，往往只做微调且难以验证效果。而获取一份真正理想的报告本身就极其困难。 当让模型充当裁判（LLM as a judge）时，自动生成的细则往往缺乏可评估性。例如，在没有标准答案（ground truth）的情况下验证数据是否正确，或判断论述是否足够全面，模型根本无法可靠执行。 基于这类细则的自动评估结果，与人类评估员的实际感知存在显著偏差。 原本目标是让模型自动生成以减轻人工负担，但实际应用中仍需大量重写和对齐才能投入使用，人力成本并未真正下降。
One-sided subjective scoring（单向主观打分）团队曾尝试一种方案：针对每个查询，由不同模型生成三份报告，让人工直接打 0-10 分的总分。结果显示评估员之间的分数波动极大（方差高）。当将评分范围压缩到 0-3 分后，打分又无法有效区分报告质量的细微差异，分值分配也不合理。对于深度研究这种标准不唯一、难以统一验证的任务，Comparative Evaluation（对比评估） （即让评估员直接在 A 和 B 之间选择更优者）反而能得出更稳定、置信度更高且更高效的结果。
Resource consumption of Elo battles（Elo 对战的资源消耗）Elo 评分系统是一种科学严谨的对比排名方法，但用于人工评估时资源消耗过大。例如，面对 10 个查询和 5 个模型，普通对比评估只需 50 次两两比较即可评估某模型与其他模型的差距。而若要使用 Elo 生成完整排行榜，则需要 150 次比较。由于每次深度报告对比都很耗时，成本急剧上升。虽然可以通过抽样或限制对手池来减轻负担，但这会降低排行榜的置信度，且成本仍高于普通对比。因此建议：若只需衡量模型与基线模型的性能差距，直接使用普通对比评估即可。
Expert-generated questions（专家生成问题）既具备垂直领域深厚知识，又了解 LLM 能力边界，且愿意投入评估工作的资深专家非常稀缺。与这类专家协作评估，会带来极高的时间与资金成本。
7 实验与分析（Experiments and Analysis）
7.1 实验设置（Experimental Setup）
Evaluation Benchmarks（评估基准）研究团队使用公开基准 RESEARCHUBRICS 与自研 ADR-Bench 对模型进行全面测试。
LLM-based Evaluation（基于大型语言模型的评估） ：采用 LLM 作为裁判，对每个评估项进行三级评分。初步实验发现，原始评估提示词存在明显的随机性，且模型难以准确理解“负面约束条件”。为确保结果的鲁棒性与可复现性，团队针对负面约束进行了提示词工程优化（详见附录 A），将生成温度（temperature）设置为 （确保输出完全确定，消除随机性），并对每个评估项独立运行 3 次，取算术平均值作为最终得分。 Human-Centric Evaluation（以人类为中心的评估） ：如前文所述，团队开发了两套内部基准数据集。其一是包含 70 条样本的通用测试集，采用人工并排对比（side-by-side comparison），由人类评估员直接对比不同模型生成的报告并选出偏好结果，旨在捕捉用户在实际使用中的细微偏好差异。其二是包含 40 条样本的金融与法律专业测试集，该部分交由 LLM 基于预设标准进行打分，以适应专业场景对客观标准的严格要求。
Compared models（对比模型）实验对比了两类代表性系统：
Commercial Agent System（商业智能体系统） ：由于商业深度研究智能体均为闭源，团队从其官方平台手动收集生成的报告用于评估。涵盖的系统包括 OpenAI DeepResearch、Gemini DeepResearch、Kimi-Researcher、MiniMax Agent Pro 以及 Qwen DeepResearch。 ReAct Agent（思考-行动代理） ：团队通过 API 接口在多款基础模型上部署了 ReAct 框架，测试的模型包括 Kimi-k2-thinking、DeepSeek-V3.2、GLM 4.6 和 MiniMax-M2。此外，还引入了本研究提出的 Step-DeepResearch 模型，该模型以 Qwen2.5-32B-Base 为基座，经历了中间训练（Mid-training）、监督微调（SFT）以及强化学习（RL）的多阶段训练流程。
Evaluation Configurations（评估配置）为保证公平对比，统一了基础模型的参数设置：最大推理轮次限制为 30 轮，每轮 token 上限设为 16k。商业智能体系统则直接采用其网页端默认配置生成最终报告，不做额外干预。
Cost Estimation Standards（成本估算标准）采用双轨制来量化经济效率：
对于基于 API 的 ReAct 代理，直接根据官方定价与实际消耗的 token 数量计算成本。 对于不公开 token 统计数据的商业系统，采用“执行时间作为 token 工作量代理指标”的原则进行估算。具体而言，在模型规模相近的前提下，运行时间越长通常代表计算负载越高。 例如，MiniMax Agent Pro 的成本，是通过将其执行时间比例乘以 MiniMax-M2 ReAct 代理的实测成本推算得出。对于 Kimi-Researcher 和 Qwen DeepResearch，则以 Kimi-k2-thinking ReAct 代理为基线按比例推算。由于 Qwen3-Max 的实际 API 单价高于 Kimi-k2，在计算 Qwen DeepResearch 成本时，需额外乘以 $1.6 \times$的价格调整系数进行修正。
defestimate_commercial_cost(baseline_cost: float, execution_time_ratio: float, price_adjustment: float = 1.0) -> float:""" 估算闭源商业智能体系统的运行成本 baseline_cost: 基准模型（已知 token 消耗与单价的 ReAct 代理）的实际成本 execution_time_ratio: 目标商业模型运行时间 / 基准模型运行时间 price_adjustment: API 单价差异调整系数（例如 Qwen3-Max 相对 Kimi-k2 的系数为 1.6） """# 成本估算核心逻辑：基准成本 × 时间负载比例 × API单价差异系数 estimated = baseline_cost * execution_time_ratio * price_adjustmentreturn estimated# 示例执行：# 假设基准模型跑一次查询成本为 10 元# 某商业系统运行耗时是基准的 1.5 倍# 该商业系统 API 单价是基准的 1.6 倍base = 10.0time_scale = 1.5price_scale = 1.6result = estimate_commercial_cost(base, time_scale, price_scale)print(f"目标系统估算单次查询成本: {result:.2f} 元")# 输出: 目标系统估算单次查询成本: 24.00 元7.2 评估结果（Evaluation Results）
本部分主要通过两个权威测试集对 Step-DeepResearch 模型进行性能评估，并将其与当前主流的开源与商业系统进行横向对比。
首先在 RESEARCHRUBRICS 基准测试中，实验数据表明 Step-DeepResearch 在单一智能体（Single-agent）类别中达到了当前的最先进水平（State-of-the-art, SOTA）。其得分为 61.42 分，大幅领先于表现最佳的开源模型 Kimi-k2-thinking（得分 56.17），性能提升了 5.25 分。若将所有系统纳入综合榜单，Step-DeepResearch 总成绩仅次于商业系统 Gemini DeepResearch（得分 63.69），排名第二，并且超越了 OpenAI DeepResearch 和 Kimi-Researcher 等依赖复杂流程编排的智能体框架。
图 6：Step-DeepResearch 智能体与开源模型及商业产品的对比
Step-DeepResearch 的优异表现主要体现在架构设计与成本效率两个维度：
架构优势 ：许多竞品依赖多步骤流水线或多个智能体协同工作（类似于将任务拆解后交给多个专员处理）。而 Step-DeepResearch 仅凭单一模型即可完成全流程，这验证了该模型本身具备极强的原生研究能力与逻辑推理水平。 轻量化优势 ：生成单份报告的成本差异显著。商业高端系统中，Gemini DeepResearch 成本约为 ，OpenAI DeepResearch 约为 ，其次为 MiniMax Agent Pro 、Kimi-Researcher 以及 Qwen DeepResearch 。在采用 ReAct 范式的智能体中，成本通常在 之间浮动。令人瞩目的是，Step-DeepResearch 单次调用成本不足 ，以不到头部商业系统十分之一的开销，保持了顶尖性能。换句话说，它在大规模部署场景下展现了极高的性价比（具体成本指标见原文图 1a）。
在 ADR-Bench 的人类评估环节中，Step-DeepResearch 的表现同样优于现有商业智能体系统。通过与未经过中期训练（Mid-training）的原始版本进行消融实验（Ablation study）对比，该版本取得了 30 胜 21 负的成绩。这一结果表明，专门针对智能体设计的训练阶段，能显著提升生成内容的质量，使其更贴合人类对复杂研究报告的偏好。
在与行业领先系统的直接对抗中，Step-DeepResearch 始终保持更高的胜率。特别是在与 Gemini 和 MiniMax 等强劲对手的较量中，累计“获胜（Wins）”与“平局（Ties）”次数达到 47 次（占比 67.1%）。这些实证数据说明，在绝大多数研究任务中，该模型均能稳定达到或超越当前最先进的性能基线。
图 7：ADR-Bench 人类评估结果（样本量 N=70）。数字代表每次对比中胜-平-负的具体场次。
针对 ADR-Bench 中的金融与法律子集（Finance&Law），任务具有专业术语密集、推理链条长、合规风险约束严格等特征。为应对此类复杂性，评估引入了明确的负向扣分机制：一旦报告中出现专业概念错误，将予以扣分；若被专家判定为致命性或专业性硬伤，该份报告将直接被判为“不可用”（得零分）。在此评分框架下，模型的综合表现不再仅取决于答对率，还需计入犯错成本与风险外部性。
表 6 展示了该细分领域的评估结果，各模型呈现出清晰的三级分布：
Gemini 全面领先，占据绝对主导地位； Step-DeepResearch、Kimi 与 OpenAI 表现相近，聚集在同一梯队； 其余模型与产品大幅落后，呈现明显的长尾效应。
表 6：ADR 基准测试（金融与法律）结果
上述发现表明，评分差异更多与模型自身的领域知识覆盖度相关，而非智能体框架（Agent Framework）带来的流程优化收益。换句话说，在严格的负向扣分约束下，外部工作流的技巧无法弥补模型底层专业知识的缺失。Step-DeepResearch 之所以能稳居第二梯队前沿，正是得益于其在金融与法律场景上进行了定向训练，使其在专业深度上足以与参数量更大的模型展开竞争。
7.3 详细分析（Detailed Analysis）
本部分对模型在不同评估维度与具体领域中的实际表现进行了细致的拆解。为了让你更直观地理解，我们将其分为“通用研究能力打分”和“细粒度人类偏好评估”两大块来讲解。
RESEARCHRUBRICS（研究评估指标体系）的表现图 8 展示了模型在六个核心评估维度上的得分分布。实验结果凸显了几个关键的突破点：
在“隐式标准（Implicit Criteria）”和“显式标准（Explicit Criteria）”上，模型分别取得了 54.5 和 72.0 的高分，处于领先地位。换句话说，显式标准是指任务要求中明确写出的条件（如“需要引用 3 篇文献”），而隐式标准则是需要模型自行推导的底层逻辑与潜在规则。模型在隐式标准上的表现超过了 OpenAI DeepResearch（52.4），并大幅领先开源模型，这表明它不仅能看懂表面要求，还具备很强的深层逻辑对齐能力。 在“引用质量（Citation Quality）”上，模型获得 57.0 分，与 Gemini DeepResearch 并列第一。这意味着模型生成的所有观点和洞察都有据可查，就像学术写作中每一个论点都严格附带了可追溯的参考文献，保证了内容的实证严谨性。 在“沟通质量（Communication Quality）”上，模型以 58.2 分超越了所有参与对比的对象。这说明它生成的报告不仅数据详实，而且行文逻辑清晰、专业易读，大幅提升了信息传达的效率。 唯一存在微小差距的是“指令遵循（Instruction Following）”，模型得分为 64.9，略低于 Kimi-Researcher 的 66.7。初步分析认为，这主要是因为模型在训练后期（Post-training）接触了过于多样化的指令微调数据，导致在极复杂的多约束条件下偶尔不够聚焦。未来团队将针对此类任务进行专项优化，以追求全维度的领先。
不同垂直领域的能力表现如图 9 所示，模型在多个专业领域也展现出了强劲的实力：
在人工智能与机器学习（AI & ML）、历史分析（Historical Analysis）以及技术文档（Technical Documentation）领域，得分分别为 64.8、65.8 和 64.6，均超过了 Kimi-Researcher（对应分数为 57.4、61.4 和 53.1）。值得注意的是，这些成绩并未使用特定领域的额外数据进行“开小灶”训练，完全依赖模型自身的基础架构取得。在技术文档任务中，它甚至与 Gemini DeepResearch 打平。 在创意写作（Creative Writing）领域，模型以 63.4 分领跑。这证明其底层逻辑与知识网络能够很好地“举一反三”，有效迁移至训练数据分布之外的全新任务中。 尽管整体领先，模型在科学、技术、工程与数学（STEM）领域（64.7 分）和哲学（Philosophy，46.1 分）仍有提升空间，目前稍落后于 Gemini DeepResearch（分别为 70.7 和 53.5 分）。错误分析表明，这些差距源于高阶推理任务固有的极高复杂度。后续工作将重点攻克此类逻辑瓶颈，以进一步强化模型在理工科等硬核领域的表现。
ADR-Bench（自定义深度研究基准）的细粒度分析为了验证模型在通用场景下的真实可用性，研究团队采用了“成对人工偏好评估”方法（即让真人对比两份模型输出，手动勾选更好的一份），进行了全面的能力对齐测试，结果如图 10 所示。以下是对三个核心维度的通俗解读：
信息完整性（Informational Completeness） ：面对需要跨领域整合、追踪证据链或汇总多源信息的任务时，模型不仅能覆盖所有关键点，还能以结构化的形式清晰呈现。举个例子，当任务是“梳理某新兴产业的政策脉络”时，模型不会遗漏核心文件，也不会把无关信息胡乱堆砌，而是按时间或层级分门别类。在涉及大规模分类或元素列举的任务中，模型能显著抑制“幻觉”（即凭空捏造）和冗余重复，确保输出全面且精准。 内容深度（Content Depth） ：在内容深度方面，该模型已追平部分闭源商业系统。在极度依赖垂直领域专业推理的场景中，它略微落后于 OpenAI 和 Gemini 等商业深度研究智能体，这主要受限于模型参数规模的物理天花板。但在常规的问题拆解、规划制定与策略推演中，它的执行一致性更为稳定。作为对比，未经专门任务训练的基础模型往往只能给出“浅层回复”，表现为短句拼凑、逻辑松散，或仅提供一堆缺乏实用价值的表面要点。该模型通过定向训练，彻底修复了这种“蜻蜓点水”式的输出缺陷。 需求契合度（Requirement Fitness） ：在响应用户真实诉求方面，模型展现出与商业系统相当的稳定性。无论指令多么复杂，它都能精准捕捉核心意图，并主动补充辅助信息以支持决策。观察发现，部分现有商业系统常采用“一刀切”的刻板模板（例如不管什么任务都强行套用学术论文格式），或强行插入与用户意图弱相关的冗余信息。相比之下，该模型能够“看菜下饭”，根据任务属性动态调整行文风格，确保最终输出的结构始终紧扣主题、目的明确。
7.4 案例研究（Case study）
本小节通过一个具体的对比实例，直观展示了模型能力升级后的实际效果。原文将中期训练（mid-training）模型与未经中期训练的原始版本（non-mid-trained version）放在了同一个测试标准下进行对比。
我们可以把“中期训练”想象成给模型安排的一门“专项技能进修课”。在这门课中，我们重点让模型掌握了几项基础的原子能力（atomic capabilities） ，例如任务规划（planning）和信息搜寻（information seeking） 。
对比结果非常明确：上过这堂“进修课”的模型，最终生成的研究报告整体质量有了显著提升。这种提升并不是泛泛而谈，而是集中体现在两个核心维度：
指令遵循（instruction following）更精准 ：模型能更严格地“听懂”并执行用户的要求，严格按照指定的逻辑和格式输出内容，不再跑题或遗漏关键要求。 信息探索的广度与深度更强 ：在做调研时，模型不仅能“撒大网”覆盖更多相关线索（广度），还能顺藤摸瓜挖掘出关键细节和底层逻辑（深度）。
换句话说，模型之所以能在复杂任务上表现优异，是因为我们在中期训练阶段，特意把“规划步骤”和“高效检索”这些基本功内化到了模型的核心能力中。这就像做研究前先搭好框架、再精准搜集资料，基本功扎实了，面对任何深度课题自然都能输出结构严谨、内容充实的高质量报告。
7.5 针对深度研究模式的专项优化（Targeted Refinements for Deep Research Patterns）
基于对早期版本失败案例的系统分析，我们针对深度研究（Deep Research）场景中的典型问题，进行了以下三项专项优化：
写作风格（Writing Style）早期的模型在自动化评分工具——研究评分标准（ResearchRubrics）中得分很高，但人工评估发现，生成的报告往往只是将信息碎片化地罗列堆砌，缺乏深度的整合分析。这暴露出传统“检查清单式”打分的局限性：它更看重关键信息是否“存在”（即信息召回率），却忽视了文章的结构连贯性与叙事深度。此外，我们还发现“分析深度”与“内容全面性”之间存在一种此消彼长的关系。当要求模型减少清单格式、提供更深刻的见解时，模型经常会提前终止生成，导致漏掉很多关键信息，整体召回率反而下降。
为了解决这一矛盾，我们优化了数据合成流程，引入了综合驱动起草模块（Synthesis-driven Drafting）。该模块引导模型将原始的搜索和工具调用记录，重新转化为逻辑严密、层层推导的结构化段落，并严格限制将无序列表（即项目符号列表）作为报告的主体内容。同时，我们部署了成对大语言模型评判器（Pairwise LLM Judger）进行质量把控。该过滤机制仅保留那些在深度和逻辑上表现更优，且未牺牲整体信息覆盖率的新报告。
换句话说，这就像指导学生写综述论文：过去模型只是把查到的资料一条条复制粘贴应付检查；现在通过新模块训练，它学会了将资料消化吸收，写成有论点、有论证的连贯文章，并由一个“智能助教”进行两两对比打分，确保质量与全面性双达标后才予以采用。
时间认知（Temporal Cognition）尽管我们在系统提示词中明确注入了具体日期，模型在进行长周期推理时仍频繁出现时间混乱。一个显著的现象是：模型常将系统提供的日期视为“虚拟背景设定”，或习惯性地在搜索查询中附加过去的时间（例如频繁搜索“2023年”或“2024年”的事件）。这种时间偏差甚至在使用顶尖闭源模型生成的合成数据中也普遍存在，严重损害了最终报告的时效性与参考价值。
为缓解该问题，我们在数据清洗阶段实施了严格的时间逻辑验证。具体规则是：只要发现模型将一个本身没有明确时间要求的查询，错误地关联或锚定到了过去的时间戳，这条训练轨迹就会被系统直接过滤并丢弃。这意味着，我们在训练源头就掐断了模型“习惯性翻旧账”的倾向，只保留符合正确时间视角的高质量数据。
语言一致性（Linguistic Consistency）模型在生成内容时，常会出现中英文不受控地随意混合的现象，这种现象在自然语言处理领域被称为语码转换（code-switching），它会严重破坏长文本的可读性，让读者阅读体验割裂。
为此，我们采取了严格的数据清洗策略。在轨迹合成阶段，系统会利用正则表达式与语言密度检测算法，自动扫描并剔除那些包含不必要语言混杂的低质量训练样本。通过这种前置过滤，确保模型在最终输出时能够保持单一语言的纯粹性，生成行文连贯、风格统一的研究报告。
表7：案例研究：用户查询与模型对比
8 结论与未来工作（Conclusion and Future Work）
这一节是对整项研究的收尾，主要包含三大块内容：团队已取得的成果、当前系统面临的实际挑战，以及下一步的战略规划。
1. 核心成果与技术路线在这项工作中，作者重新梳理了深度研究智能体（Deep Research Agent）的核心能力，并建立了一套完整的任务理解框架。即使仅在参数量为 32B（320亿参数）的中等规模模型上进行训练，也取得了优异表现。 其成功主要归功于两项关键技术：
分阶段原子能力数据策略（Multi-stage Atomic-capability Data Strategy） ：将复杂的深度研究任务拆解为规划、搜索、验证等独立的“原子能力”，分阶段构建专项数据让模型逐步掌握。 端到端训练范式（End-to-end Training Paradigm） ：从中间训练（Mid-training）阶段开始，一直延续到后训练（Post-training）阶段，实现能力的平滑递进。
此外，团队还推出了一个名为 ADR基准测试集（ADR-Bench）的全新评估标准，专门用于检验智能体在真实业务场景中的实际可用性。大量实验数据表明，这套方法论在中等模型群体中达到了当前最优（State-of-the-art），甚至在某些垂直领域已经能与闭源的超大规模模型竞争。作者期望这项工作能为自主智能体向通用人工智能（AGI）的演进提供启发。
2. 当前面临的三大挑战尽管表现突出，但作者在落地过程中也发现了系统的局限性：
工具调用的鲁棒性不足 ：系统在对接外部工具时还不够“皮实”。当遇到应用程序接口（API）格式变更、返回异常数据，或需要跨多个工具串联执行长链条任务时，系统容易出现断点或崩溃。 事实准确性难以稳定维持 ：在信息噪音高、证据碎片化的环境中，保证输出绝对真实且逻辑严密依然困难。这容易导致模型生成“听起来合理，但缺乏实锤支撑”的推断。 报告的可读性与可追溯性待优化 ：最终生成的研究报告在排版结构上的一致性欠佳，且结论与底层证据之间的映射关系不够直观，增加了人工复核的难度。
3. 未来的战略升级方向针对上述瓶颈，团队明确了三个重点攻关路径：
引入“多智能体协作”架构（Multi-agent Paradigm） ：改变单打独斗的模式，让不同智能体扮演专职角色，例如规划者（Planners）、资料检索者（Retrievers）、事实核验者（Verifiers）和报告撰写者（Writers）。各角色通过共识机制交叉验证，从而有效抑制“幻觉”（Hallucinations）的产生。 增强动态环境适应力 ：让系统摆脱静态输入的限制，能够在信息不全、实时变化的环境中持续探索，并具备自主纠错的能力。 强化训练目标的严谨性 ：在优化指标中硬性加入“事实一致性（Factual Consistency）”与“引用可追溯性（Traceable Citations）”考核。通过将偏好学习（Preference Learning）与过程监督（Process-based Supervision）深度融合，团队的最终目标是让模型的输出不再停留于“表面正确”，而是做到“每一步都清晰可查、经得起严格验证”。
参考资料
论文地址: https://arxiv.org/abs/2512.20491
论文名称: Step-DeepResearch Technical Report
