推广 热搜: 采购方式  滤芯  带式称重给煤机  甲带  气动隔膜泵  减速机型号  无级变速机  链式给煤机  履带  减速机 

Spirit v1.5 VLA 模型技术深度研究报告:架构、数据与评测

   日期:2026-01-13 12:14:41     来源:网络整理    作者:本站编辑    评论:0    
Spirit v1.5 VLA 模型技术深度研究报告:架构、数据与评测

1. 概述

Spirit v1.5 是一款基于视觉-语言-动作(Vision-Language-Action, VLA)架构的具身智能基础模型。与传统的“感知-规划-控制”模块化流水线不同,Spirit v1.5 采用了端到端的 Transformer 架构,旨在解决具身智能中**长程推理(Long-horizon Reasoning)与高频精细控制(High-frequency Control)**难以兼容的根本性矛盾。

本报告将深入剖析其核心的 OneTwoVLA 架构、自适应双系统机制、合成数据管线以及在 RoboChallenge 基准测试中的具体技术表现。


2. 核心架构:OneTwoVLA 与自适应双系统

Spirit v1.5 的架构核心在于 "OneTwoVLA" 范式,该架构在单一模型权重中实现了两种截然不同的计算模式:System 1(快动作) 与 System 2(慢推理)。这种设计打破了以往 VLA 模型在每一步都进行等量计算的同质化处理方式。

2.1 统一 Transformer 主干与动态门控(Gating Mechanism)

模型的主干是一个 Decoder-only Transformer。其输入序列包括视觉 Token(Vision Tokens)、语言指令 Token(Language Tokens)以及历史动作 Token(Action Tokens)。

  • 动态门控机制(Learned Gating):Spirit v1.5 引入了一个轻量级的分类头(Classification Head),用于在每个时间步 $t$ 决定当前是进入推理模式还是动作模式。

  • $P(\text{mode} | h_t)$:基于当前的隐藏状态 $h_t$,模型预测是否需要暂停动作输出以生成推理文本。

  • 触发条件: 该门控机制被训练为对以下“关键时刻”(Critical Moments)敏感:

  1. 子任务边界: 当前动作原语(Primitive)执行完毕(例如“已抓取物体”)。

  2. 异常状态: 视觉反馈与预期状态不符(例如“物体滑落”)。

  3. 歧义指令: 用户输入需要进一步消歧。

2.2 System 1:高频动作生成 (Acting Mode)

在大多数时间步(>90%),模型运行在 System 1 模式。

  • 输入: 实时 RGB 图像流 + 本体感知信息(关节角度、末端位姿)。

  • 输出:动作块(Action Chunking)。

  • 技术实现: 为了保证 10Hz-50Hz 的控制频率,模型并不逐个预测关节角度,而是预测未来 $k$ 步的动作轨迹块(Chunk)。这不仅减少了推理调用的频率,还平滑了动作轨迹。

  • 动作解码器: Spirit v1.5 采用了**离散扩散(Discrete Diffusion)**策略,将连续动作空间离散化为 Token,通过掩码去噪(Masked Denoising)的方式生成动作。这允许模型处理多模态动作分布(即针对同一目标有多种合法的运动轨迹)。

2.3 System 2:思维链推理 (Reasoning Mode)

当门控机制触发 System 2 时,动作输出被抑制,模型转为自回归生成文本 Token。

  • CoT 生成: 模型生成结构化的思维链(Chain-of-Thought),通常包含:

  • Scene Description: 对当前环境关键要素的语义描述。

  • Status Check: 当前任务进度的自我评估(Success/Failure)。

  • Plan Update: 对下一步高层策略的调整。

  • 上下文注入: 生成的文本序列不会被丢弃,而是作为 Context 拼接到后续的输入流中。这意味着 System 1 的后续动作生成将直接受到 System 2 推理结果的条件约束(Conditioning)。

技术优势: 这种设计避免了传统分层架构(Hierarchical Architecture)中上层规划器与下层控制器之间信息丢失的问题,实现了语义意图到电机控制的端到端梯度流。


3. 训练策略与数据管线

VLA 模型的性能上限取决于高质量数据的规模。Spirit v1.5 的核心壁垒在于其构建了一套自动化的合成具身推理数据管线(Synthetic Embodied Reasoning Pipeline),有效解决了真实世界推理数据稀缺的问题。

3.1 混合训练(Co-training)策略

模型在以下三类数据上进行混合训练:

数据类型

数据内容

训练目标

占比权重

互联网图文数据

COCO, LAION 等大规模图像-文本对

建立通用的视觉语义对齐,识别物体与属性。

基础层

真实机器人轨迹

Teleoperation 采集的 Action-State 序列

学习物理动力学、接触力学及具体硬件的控制策略。

核心层

合成推理数据

仿真环境视频 + VLM 标注的 CoT 文本

训练 System 2 的核心。 赋予模型解释“为什么要这样做”的能力。

增强层

3.2 合成数据生成技术细节

为了获取大量带有“思维过程”的数据,Spirit 团队采用了一种“Teacher-Student”蒸馏范式:

  1. 场景仿真: 在仿真器(如 Isaac Gym 或 Sapien)中生成长程任务(如“做饭”、“整理房间”)。

  2. VLM 自动标注: 利用强大的闭源 VLM(如 GPT-4V 或 Gemini 1.5 Pro)作为“标注员”。

  • 输入:仿真生成的视频关键帧。

  • Prompt:要求 VLM 详细解释当前步骤的意图、检测到的错误以及修正策略。

  • 输出:结构化的思维链文本(Scene -> Plan -> Action intent)。

  1. 数据过滤与清洗: 通过规则过滤掉幻觉严重的标注,形成高质量的 <Image, Text_CoT, Action> 三元组数据。

关键突破: 这种方法使得 Spirit v1.5 能够在没有人类专家手写推理过程的情况下,学会了“反思”和“纠错”。例如,在训练数据中人为注入失败案例(如抓取时物体掉落),并由 VLM 标注出“物体掉落 -> 需要重新抓取”的推理文本,从而让模型习得鲁棒的错误恢复能力。


4. 性能评测:RoboChallenge Table30 分析

Spirit v1.5 在 RoboChallenge 的 Table30 榜单中以 50.33% 的成功率排名第一,显著优于 pi0.5 (42.67%) 和 OpenVLA (5.00%)。

4.1 任务级性能拆解

Table30 包含 30 个桌面操作任务,Spirit v1.5 的优势主要体现在以下几类高难度任务中:

A. 长序列/多阶段任务 (Long-Horizon Tasks)

  • 典型任务: make vegetarian sandwich(制作三明治)、sort electronic products(分类电子产品)。

  • 技术难点: 需要记忆之前的步骤(Memory),并保持长时间的注意力不漂移。

  • Spirit 表现: System 2 在每个子步骤完成后(如“放好面包片”)会被触发,生成检查点确认,有效防止了长序列执行中的累积误差。

B. 高精度/接触丰富任务 (Contact-Rich Tasks)

  • 典型任务: plug in network cable(插网线)、arrange flowers(插花)、stack bowls(叠碗)。

  • 技术难点: 这种任务对毫米级的定位精度要求极高,且伴随严重的视觉遮挡(手部遮挡插孔)。

  • Spirit 表现: Spirit v1.5 在 plug in network cable 任务中展现了基于视觉反馈的微调能力。当插头未对准时,模型能够检测到阻力(通过视觉上的微小位移或停顿),并触发重规划进行微小的螺旋搜索(Spiral Search)动作。

C. 柔性物体操作 (Deformable Object Manipulation)

  • 典型任务: fold dishcloth(叠抹布)。

  • 技术难点: 抹布的状态空间是无限维的,且形态不规则。

  • Spirit 表现: 模型通过学习大量的仿真柔性体数据,能够识别抹布的角点(Keypoints),并规划出合理的抓取点。

4.2 与竞品的架构对比

特性

Spirit v1.5 (OneTwoVLA)

pi0.5 (Physical Intelligence)

OpenVLA

推理架构

自适应双系统 (System 1/2)

异构混合训练 (Flow Matching)

纯 System 1 (Transformer)

动作生成

离散化 Token / 动作块

连续流匹配 (Flow Matching)

离散化 Token

长程规划

强 (显式 CoT 推理)

中 (依赖上下文窗口)

弱 (易遗忘)

错误恢复

主动触发 (Gating)

被动响应

无

微调数据

合成推理数据 + 真实数据

跨构型异构数据

真实数据 (BridgeData)

分析结论: OpenVLA 由于缺乏 System 2 的显式推理,一旦遇到未见过的干扰,往往会陷入死循环。pi0.5 虽然泛化性强,但在需要“思考”的纠错场景下,不如 Spirit v1.5 的双系统灵活。


5. 局限性与技术挑战

尽管 Spirit v1.5 在架构上取得了突破,但在实际部署中仍面临以下技术瓶颈:

  1. 推理延迟 (Inference Latency): 尽管 System 2 仅在关键时刻触发,但在 System 2 激活的那几秒钟内,控制频率会显著下降。如果此时机器人处于高动态运动中(如快跑),可能会导致失稳。目前的解决方案是在 System 2 思考时,System 1 执行一段安全的“保持”或“减速”动作。

  2. 幻觉 (Hallucination): System 2 生成的推理文本有时会出现幻觉(例如声称“已经抓住了物体”,但实际上抓空了)。这种错误的上下文会误导 System 1 执行错误的后续动作。

  3. 算力开销: 运行包含 System 2 的大参数量 Transformer 对端侧计算资源(On-board Compute)是巨大的考验,目前主要依赖高算力的 GPU 服务器进行推理,通过网络下发指令,这引入了网络延迟的不确定性。


6. 总结

Spirit v1.5 的技术意义在于验证了 "System 1 + System 2" 融合架构 在具身智能领域的有效性。通过引入自适应门控机制和合成推理数据,它成功地赋予了 VLA 模型“元认知”能力——即知道何时该通过肌肉记忆快速行动,何时该停下来思考。这种架构有望成为未来解决复杂、长程、非结构化环境任务的标准范式。
 
打赏
 
更多>同类资讯
0 条相关评论

推荐图文
推荐资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  皖ICP备20008329号-18
Powered By DESTOON