1. 概述
Spirit v1.5 是一款基于视觉-语言-动作(Vision-Language-Action, VLA)架构的具身智能基础模型。与传统的“感知-规划-控制”模块化流水线不同,Spirit v1.5 采用了端到端的 Transformer 架构,旨在解决具身智能中**长程推理(Long-horizon Reasoning)与高频精细控制(High-frequency Control)**难以兼容的根本性矛盾。
本报告将深入剖析其核心的 OneTwoVLA 架构、自适应双系统机制、合成数据管线以及在 RoboChallenge 基准测试中的具体技术表现。
2. 核心架构:OneTwoVLA 与自适应双系统
Spirit v1.5 的架构核心在于 "OneTwoVLA" 范式,该架构在单一模型权重中实现了两种截然不同的计算模式:System 1(快动作) 与 System 2(慢推理)。这种设计打破了以往 VLA 模型在每一步都进行等量计算的同质化处理方式。
2.1 统一 Transformer 主干与动态门控(Gating Mechanism)
模型的主干是一个 Decoder-only Transformer。其输入序列包括视觉 Token(Vision Tokens)、语言指令 Token(Language Tokens)以及历史动作 Token(Action Tokens)。
动态门控机制(Learned Gating):Spirit v1.5 引入了一个轻量级的分类头(Classification Head),用于在每个时间步 $t$ 决定当前是进入推理模式还是动作模式。
$P(\text{mode} | h_t)$:基于当前的隐藏状态 $h_t$,模型预测是否需要暂停动作输出以生成推理文本。
触发条件: 该门控机制被训练为对以下“关键时刻”(Critical Moments)敏感:
子任务边界: 当前动作原语(Primitive)执行完毕(例如“已抓取物体”)。
异常状态: 视觉反馈与预期状态不符(例如“物体滑落”)。
歧义指令: 用户输入需要进一步消歧。
2.2 System 1:高频动作生成 (Acting Mode)
在大多数时间步(>90%),模型运行在 System 1 模式。
输入: 实时 RGB 图像流 + 本体感知信息(关节角度、末端位姿)。
输出:动作块(Action Chunking)。
技术实现: 为了保证 10Hz-50Hz 的控制频率,模型并不逐个预测关节角度,而是预测未来 $k$ 步的动作轨迹块(Chunk)。这不仅减少了推理调用的频率,还平滑了动作轨迹。
动作解码器: Spirit v1.5 采用了**离散扩散(Discrete Diffusion)**策略,将连续动作空间离散化为 Token,通过掩码去噪(Masked Denoising)的方式生成动作。这允许模型处理多模态动作分布(即针对同一目标有多种合法的运动轨迹)。
2.3 System 2:思维链推理 (Reasoning Mode)
当门控机制触发 System 2 时,动作输出被抑制,模型转为自回归生成文本 Token。
CoT 生成: 模型生成结构化的思维链(Chain-of-Thought),通常包含:
Scene Description: 对当前环境关键要素的语义描述。
Status Check: 当前任务进度的自我评估(Success/Failure)。
Plan Update: 对下一步高层策略的调整。
上下文注入: 生成的文本序列不会被丢弃,而是作为 Context 拼接到后续的输入流中。这意味着 System 1 的后续动作生成将直接受到 System 2 推理结果的条件约束(Conditioning)。
技术优势: 这种设计避免了传统分层架构(Hierarchical Architecture)中上层规划器与下层控制器之间信息丢失的问题,实现了语义意图到电机控制的端到端梯度流。
3. 训练策略与数据管线
VLA 模型的性能上限取决于高质量数据的规模。Spirit v1.5 的核心壁垒在于其构建了一套自动化的合成具身推理数据管线(Synthetic Embodied Reasoning Pipeline),有效解决了真实世界推理数据稀缺的问题。
3.1 混合训练(Co-training)策略
模型在以下三类数据上进行混合训练:
数据类型 | 数据内容 | 训练目标 | 占比权重 |
互联网图文数据 | COCO, LAION 等大规模图像-文本对 | 建立通用的视觉语义对齐,识别物体与属性。 | 基础层 |
真实机器人轨迹 | Teleoperation 采集的 Action-State 序列 | 学习物理动力学、接触力学及具体硬件的控制策略。 | 核心层 |
合成推理数据 | 仿真环境视频 + VLM 标注的 CoT 文本 | 训练 System 2 的核心。 赋予模型解释“为什么要这样做”的能力。 | 增强层 |
3.2 合成数据生成技术细节
为了获取大量带有“思维过程”的数据,Spirit 团队采用了一种“Teacher-Student”蒸馏范式:
场景仿真: 在仿真器(如 Isaac Gym 或 Sapien)中生成长程任务(如“做饭”、“整理房间”)。
VLM 自动标注: 利用强大的闭源 VLM(如 GPT-4V 或 Gemini 1.5 Pro)作为“标注员”。
输入:仿真生成的视频关键帧。
Prompt:要求 VLM 详细解释当前步骤的意图、检测到的错误以及修正策略。
输出:结构化的思维链文本(Scene -> Plan -> Action intent)。
数据过滤与清洗: 通过规则过滤掉幻觉严重的标注,形成高质量的 <Image, Text_CoT, Action> 三元组数据。
关键突破: 这种方法使得 Spirit v1.5 能够在没有人类专家手写推理过程的情况下,学会了“反思”和“纠错”。例如,在训练数据中人为注入失败案例(如抓取时物体掉落),并由 VLM 标注出“物体掉落 -> 需要重新抓取”的推理文本,从而让模型习得鲁棒的错误恢复能力。
4. 性能评测:RoboChallenge Table30 分析
Spirit v1.5 在 RoboChallenge 的 Table30 榜单中以 50.33% 的成功率排名第一,显著优于 pi0.5 (42.67%) 和 OpenVLA (5.00%)。
4.1 任务级性能拆解
Table30 包含 30 个桌面操作任务,Spirit v1.5 的优势主要体现在以下几类高难度任务中:
A. 长序列/多阶段任务 (Long-Horizon Tasks)
典型任务: make vegetarian sandwich(制作三明治)、sort electronic products(分类电子产品)。
技术难点: 需要记忆之前的步骤(Memory),并保持长时间的注意力不漂移。
Spirit 表现: System 2 在每个子步骤完成后(如“放好面包片”)会被触发,生成检查点确认,有效防止了长序列执行中的累积误差。
B. 高精度/接触丰富任务 (Contact-Rich Tasks)
典型任务: plug in network cable(插网线)、arrange flowers(插花)、stack bowls(叠碗)。
技术难点: 这种任务对毫米级的定位精度要求极高,且伴随严重的视觉遮挡(手部遮挡插孔)。
Spirit 表现: Spirit v1.5 在 plug in network cable 任务中展现了基于视觉反馈的微调能力。当插头未对准时,模型能够检测到阻力(通过视觉上的微小位移或停顿),并触发重规划进行微小的螺旋搜索(Spiral Search)动作。
C. 柔性物体操作 (Deformable Object Manipulation)
典型任务: fold dishcloth(叠抹布)。
技术难点: 抹布的状态空间是无限维的,且形态不规则。
Spirit 表现: 模型通过学习大量的仿真柔性体数据,能够识别抹布的角点(Keypoints),并规划出合理的抓取点。
4.2 与竞品的架构对比
特性 | Spirit v1.5 (OneTwoVLA) | pi0.5 (Physical Intelligence) | OpenVLA |
推理架构 | 自适应双系统 (System 1/2) | 异构混合训练 (Flow Matching) | 纯 System 1 (Transformer) |
动作生成 | 离散化 Token / 动作块 | 连续流匹配 (Flow Matching) | 离散化 Token |
长程规划 | 强 (显式 CoT 推理) | 中 (依赖上下文窗口) | 弱 (易遗忘) |
错误恢复 | 主动触发 (Gating) | 被动响应 | 无 |
微调数据 | 合成推理数据 + 真实数据 | 跨构型异构数据 | 真实数据 (BridgeData) |
分析结论: OpenVLA 由于缺乏 System 2 的显式推理,一旦遇到未见过的干扰,往往会陷入死循环。pi0.5 虽然泛化性强,但在需要“思考”的纠错场景下,不如 Spirit v1.5 的双系统灵活。
5. 局限性与技术挑战
尽管 Spirit v1.5 在架构上取得了突破,但在实际部署中仍面临以下技术瓶颈:
推理延迟 (Inference Latency): 尽管 System 2 仅在关键时刻触发,但在 System 2 激活的那几秒钟内,控制频率会显著下降。如果此时机器人处于高动态运动中(如快跑),可能会导致失稳。目前的解决方案是在 System 2 思考时,System 1 执行一段安全的“保持”或“减速”动作。
幻觉 (Hallucination): System 2 生成的推理文本有时会出现幻觉(例如声称“已经抓住了物体”,但实际上抓空了)。这种错误的上下文会误导 System 1 执行错误的后续动作。
算力开销: 运行包含 System 2 的大参数量 Transformer 对端侧计算资源(On-board Compute)是巨大的考验,目前主要依赖高算力的 GPU 服务器进行推理,通过网络下发指令,这引入了网络延迟的不确定性。


