
一、主要大模型简介
1.大语言模型(LLM)
基于2017年Google提出的Transformer神经网络架构,通过自注意力机制,并利用海量文本数据进行训练,大语言模型(Large Language Model)显著地提升了对文本序列数据中长距离依赖的捕捉能力,进而使得其在理解复杂的语言结构中表现出前所未有的泛化理解能力与推理能力,因此其被视为实现文本信息“理解”+“推理”类任务的关键转折点。
2.视觉语言模型(VLM)
然而,大语言模型(LLM)具有一个缺陷:模型通常是将文本信息通过分词器拆分为文本Token作为后续处理的基本单元,这使得LLM模型本质上是只能处理一种信息的单模态模型。视觉语言模型(VLM)将计算机视觉技术(早期主要是基于卷积神经网络CNN技术)与自然语言处理技术(NLP)集成于一个框架内,利用视觉编码器将图像分割为小片(patch),然后再将每一个patch生成处理的基本单元--视觉Token序列,最后再复用成熟的LLM框架,使视觉语言模型(VLM)得以突破单一模态模型的限制,实现了跨模态的“感知”+“推理”能力,例如VLM模型能够回答“图片中的小猫是什么品种”或者“告诉我图片是哪里的景点”。

通过融合计算机视觉系统以及大语言模型,VLM模型虽然实现了跨模态“感知”+“推理”的突破,但仍然不能满足智能智能体自主行为的要求。因为,虽然VLM模型能够识别物体(“篮球”),并且能够理解语言指令(“把球扔进篮筐”),但是模型缺少了最关键的一步,即执行命令动作(“投篮”),即上述模型一直没有向真实的物理世界迈出最重要的一步。
3.Saycan语言规划模型
为了能够实现在真实世界中实际物理任务的落地执行,2022年4月,Google提出了Saycan语言规划模型。Saycan模型框架的核心思想在于,其通过LLM模型将高阶的语言命令拆解为一系列可供执行的低阶技能序列,然后使用价值函数(“Can”模型)计算上述技能序列的价值得分,最终综合选取可执行性最高的技能动作进行执行。

以原始论文中例子进行说明。首先,Saycan模型将上述高阶的命令进行分解,利用LLM框架将命令拆分为一系列低阶的行动建议,例如:“找到苹果”、“找到可乐”“拿起苹果”、“拿起可乐”。然后,计算这些动作序列在不考虑当前环境状态的情况下与原始命令之间的相关性概率PLLM(Ai),此时机器人发现:直接“拿起苹果”与原始命令之间的相关性最高(数值最高,-4)。在得到上述相关性概率后,进一步计算在目前的环境状态St下(例如机器人经过视觉系统识别后)上述行动建议的价值评分PValue(Ai|St),此时机器人发现:直接执行“拿起苹果”的价值得分较低(仅有0.2),可能是因为目前苹果的位置、抓取角度等原因,直接执行“拿起苹果”比较困难。然后,模型会综合考虑相关性概率与价值评分,选取可执行性最高的技能动作,例如此时机器人会决定先执行“找到苹果”的行动指令,因为该行动指令与原始命令的相关性概率较高(-6),并且执行该指定的价值得分最高(0.6)。最后,在执行了“找到苹果”命令后,系统会更新当前的环境状态St,再次进行上述循环,直至最终完成原始指令。
Saycan模型为大语言模型在真实物理世界进行工程化落地提供了首个系统级解决方案,但其语言理解模块和可执行技能模块相互割裂,这种“碎片化管道”设计导致模型在场景理解与任务规划上割裂明显,信息在模块之间的传输过程中损失严重,导致模型泛化能力较差。
4.Robotics Transformer 1模型(RT-1)
2022年10月,Google DeepMind发布了RT-1模型,RT-1模型是首个成功在大规模真实机器人数据上得到验证的端到端VLA模型,实现了“视觉-语言-动作”(VLA)在一个单一Transformer神经网络的端到端映射。RT-1模型的核心思想是利用一个以自然语言为条件的视觉编码器,使模型能够基于语言指令实现对外部环境的任务导向感知。
具体来说,首先,RT-1通过FiLM层(特征层面的线性调制器)对视觉编码器EfficientNet网络(一种卷积神经网络CNN)所提取的视觉特征向量进行调节,使得模型在图像处理阶段就根据不同的文本指令,动态地、精细化地调整提取到的外部视觉特征,并增强标记与当前任务最相关部分的视觉特征。例如,如果指令是“拿起蓝色的杯子”,在加入了FiLM层后机器人在识别环境状态时会着重标记图像中与“蓝色”、“杯子”、“抓取”相关的特征,减弱其他不相关的特征(例如周围的沙发、猫咪等信息)。
然后,将FiLM-EfficientNet层输出的经过调节标记的Tokens输入一个令牌学习器(TokenLearner)进行信息压缩,经凝练后筛选出与任务命令最相关Tokens(通过输入TokenLearner后,从FiLM-EfficientNet层输出的9*9个Tokens二次采样到最终仅剩余的8个Tokens)。
最后,将TokenLearner产生的高度浓缩的、信息强度极高的视觉-语言Tokens输入Transformer网络进行交互,输出离散的动作Tokens,并解码为动作指令,最终实现从语言指令到物理动作的端到端映射。

图片来源:《RT-1: Robotics Transformer For Real-World Control At Scale》。RT-1模型示意图。
RT-1模型首次实现了视觉和语言输入到动作指令的端到端映射,并直接启发了更强大的RT-2以及整个后续视觉-语言-动作模型(VLA)的研究。但是,模型是基于领域有限的机器人演示数据(13台机器人17个月采集的13万条任务片段),通过端到端的模仿学习开发训练而来的。因此,RT-1模型的决策本质上是基于物理世界数据与机器人动作数据端到端映射的统计相关性(即任务导向的环境感知到动作的“高级模仿者”),其不具备语义理解和逻辑推理能力,只能泛化到与训练数据相似的新物体或新场景,对于全新的、需要组合新基础动作的任务,其能力有限。
5.具身多模态语言模型(PaLM-E)
为了让模型具备“感知-理解-推理”的完整认知能力,并以此为基础做出动作决策,2023年3月Google DeepMind发布了具身多模态语言模型(PaLM-E)。其核心思想是,以一个已在海量互联网图文数据上预训练、拥有广博知识的视觉语言大模型(PaLM)作为基座,然后将机器人的多模态输入均“翻译”成该模型能理解的语言进行融合,最后在后续的动作微调阶段进一步将文本推理决策输出为一套新的、代表机器人动作的指令集。PaLM-E模型包含三个主要构成部分:多模态编码器、投影器以及大语言模型(PaLM)。
多模态编码器包括:状态编码器(MLP)、二维图像编码器(ViT)以及三维场景编码器(OSRT)。其中,二维图像编码ViT(一种基于Transformer架构的视觉模型)负责将2D图像编码为一系列视觉特征向量(示意图中的蓝色输入);状态编码器MLP负责将机器人或者外部环境的状态(例如机器人关节角度、电池电量、底座位姿等)输出为一系列状态特征向量(示意图中的绿色输入);三维场景编码器OSRT则负责将多张2D图像经内部训练生成整个3D场景结构后输出一系列的神经场景特征向量。
将上述多模态编码器得到各类特征向量通过一个线性投影层(“投影器”)转化为多模态的“混合”Token序列并嵌入语言Token序列(示意图中的橙色输入),一同输入视觉语言模型PaLM进行推理运算,最终输出自然语言的回答或者机器人动作指令。

图片来源:《PaLM-E: An Embodied Multimodal Language Model》。PaLM-E模型示意图。
例如,在示意图的Mobile Manipulation任务中,如果指令是“帮我拿取抽屉里的薯片”,与RT-1模型不同的是,由于PaLM-E已经经过海量互联网数据的预训练,因此模型不但能够理解“薯片”是一种食物,“抽屉”是放食物的地方,并且基于内化的推理关联PaLM-E模型可以直接生成一个多步文本决策:1.走到抽屉,2.打开抽屉,识别抽屉里的物品(img输入),3.找到抽屉里的薯片并抓取。而相比之下,RT-1模型若要完成此任务,则严重依赖于其训练数据中必须存在“打开某个抽屉拿取某物”的类似演示。
PaLM-E模型在架构上实现了多模态的“感知-理解-推理”之间的自然耦合,能够实现高层的语义推理与决策生成,但模型机器人动作能力的输出是通过对机器人“动作层”数据的微调而进行的,在预训练阶段动作Token并未纳入源于互联网知识的统一预训练框架,因此系统整体并未完全实现闭环自动学习。换言之,PaLM-E模型用于感知和理解世界的“核心”(视觉编码器ViT参数与PaLM的参数)并没有因为要学习输出动作而进行大规模重构。
6.Robotics Transformer 2模型(RT-2)
2023年7月Google DeepMind发布了RT-2模型,作为具身智能视觉-语言-动作模型(VLA)真正成熟范式的确立者,其将动作Token化让模型从一开始就将动作视作另一种原生语言进行预训练,并确立了“互联网规模的视觉-语言数据+机器人数据的联合微调”的训练路径,成为后续VLA研究的主流范式。
为同时赋予模型通用知识和具身技能,RT-2采用了一种联合微调策略:将包含视觉问答(VQA)、图像描述等在内的海量互联网规模的视觉-语言数据集,与来自RT-1的机器人动作数据集(13台机器人17个月采集的13万条任务片段)进行混合,不对任务类型进行区分共同输入模型当作同一类任务进行预训练。
例如,对于示意图中左上角的视觉语言数据集(预训练数据的基本单元通常为一系列“问答对”):Q“图片中在进行什么?”,A“一只灰驴走在街上”,模型将自然语言的回答Token化,转换为一系列对应的数字矩阵ID[311, 423, 170, 55, 244](文本Token);相应地,对于机器人的动作数据集:Q“为完成任务<task>机器人需要做什么?”,A“具体的位移和旋转指令[0.1, -0.2, 0]和[10°, 25°, -7°]”,同样模型将机器人动作指令Token化,转换为相对应的数字矩阵ID[132 114 128 5 25 156](动作Token)。

图片来源:《RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control》。RT-2模型训练与推理示意图。
上述“混合”Token都被输入LLM模型进行训练,此时RT-2模型不关心Token序列是来源于视觉文本问答、图像信息亦或是动作指令,模型的训练目标均统一为预测下一个正确的Token序列。因此,与PaLM-E模型的训练方式不同,PaLM-E模型在预训练阶段进行模型的参数调整与更新时,通常是冻结视觉编码器和LLM的大部分层,只预训练连接它们的适配器(即前文所述的机器人“动作层”数据的微调),而RT-2模型则会对视觉编码器、LLM等所有组件的参数进行更新,即机器人数据与网络数据的联合微调。简言之,PaLM-E模型在预训练优化时,往往是冻结模型已有的对真实世界的理解与感知(视觉编码器和大部分LLM模型),而RT-2模型则是结合机器人动作层面的数据同步地重塑了模型对真实世界的理解与感知。
RT-2模型通过将动作信息纳入训练框架,显著地提升了模型的泛化能力,但是模型还是具有以下缺陷:1.纳入预训练框架的机器人动作数据,依然源自与RT-1机器人动作数据集类似的有限领域(办公厨房);2.由于模型每一个动作的推理决策都需要经过数百亿参数的大语言模型进行沉重的前向计算,模型“大脑”的规划决策频率较低,导致模型仅能输出1-5Hz频率的动作序列(每秒1-5个动作),动作输出频率较慢。
7.RT-X模型
为了解决RT-2模型依赖狭窄的真实机器人数据的缺陷,2023年10月Google DeepMind联合全球机构发起了RT-X项目,使用更大规模的由全球15个国家21个结构整理的跨机器人数据集Open X-Embodiment进行训练(微调或者联合微调)得到了RT-1-X和RT-2-X两个核心模型,它们在模型架构上分别完全继承了RT-1和RT-2的原始模型架构。Open X-Embodiment数据集是由22类(单臂/双臂/四足机器人等)、60个机器人、覆盖311种场景、涵盖527项任务、160,266项任务采集的超过100万条机器人运动轨迹构成,这一数据集不论在场景类别、机器人种类、任务类别以及数据量本身都具有更强的泛化性能。


8.π0模型
如果说RT-X项目是从“数据规模与多样性”的路径出发,通过汇聚海量异构的机器人数据,直接训练一个更具通用性的模型;那么另一条并行的路径,则选择了从“模型架构与训练效率”为出发点。为解决RT-2模型1-5Hz的低频决策瓶颈,Physical Intelligence在2024年10月推出了π0模型。π0模型借鉴Transfusion(语言建模+扩散策略)的设计思想,引入了使用条件流匹配模块(Conditional Flow Matching)的动作专家,使得模型能够高频、“平滑”地以50Hz频率生成连续的动作分布。模型的核心思想和具体架构如下:
与RT-2和PaLM-E模型类似,π0模型以一个经过预训练的视觉语言模型(PaliGemma)为主干,其包括一个视觉编码器SigLIP(一种ViT架构的视觉编码器)以及大语言模型Gemma(LLM的一种),以及一个专门用作处理机器人状态和动作的动作专家。图像信息首先通过视觉编码器SigLIP解码为视觉特征向量,文本信息经由分词器转换为文本Token序列,同时机器人状态被编码为状态Token;随后,这三者被拼接成一个统一的多模态序列,并输入至PaliGemma模型中进行交互与推理,最后通过动作微调输出动作指令。

而在π0模型中,其动作生成范式发生了根本性变革。π0模型不再将连续动作空间离散化为有限的Token,而是通过流匹配技术直接对连续的动作分布进行建模。具体而言,π0模型的动作专家在训练阶段:对于机器人的本体状态Qt(包含机器人t时刻对应的视觉特征、语言Token、加噪动作At*等),π0模型输出一个向量场Vθ(At*,Qt)使其尽可能去接近去噪声后的真实向量场Vθ(At*|At)。在实际推理时,π0模型从一个无信息量的、随机的初始状态为起点(加噪动作At*),模型通过循环迭代的方式以最小修正(δVθ(At*,Qt))逐步将动作由加噪后的初始分布(At*)收敛至真实的目标动作数据分布(At)。简而言之,π0模型在机器人动作收敛时不是直接收敛为最优的动作指令,而是通过类似“微积分”的形式通过一个微小步长逐步迭代收敛至最终的动作。
例如,当听到指令“帮我从桌上拿薯片”时,RT-2模型可能选择Token ID 128对应“先旋转31.5度,再移动40厘米”这样的离散动作组合。而π0模型则会直接生成一条连续的运动轨迹:手臂的旋转角度从0度开始,平滑地、连续地变化到30.842度,同时移动位移也从0厘米平滑地、连续地变化到39.8厘米,其整个轨迹不是由几个离散的关键帧拼接而成。
后续,2025年1月和4月,Physical Intelligence进一步推出了π0-Fast和π0.5模型,基于与π0模型总体相似的框架构造,π0-Fast通过引入频率空间动作序列标记化(FAST)方案解决了自回归模型在处理高频平滑动作时训练信号弱、收敛慢的瓶颈,实现了训练阶段效率的数量级提升;π0.5模型则采用了大规模的协同训练范式,通过整合跨平台机器人数据、高层语义任务分解数据、语言指导数据及多模态网络数据,极大地增强了模型在未知环境中的零样本泛化能力和长周期、多步骤任务的推理能力。
9.Gemini Robotics-ER与Gemini Robotics模型
2024年12月,Google推出了原生多模态大模型Gemini2.0,与PaLM等将不同模态(如文本和图像)分别处理后再拼接输入Transformer神经网络进行后期融合的VLM模型不同,Gemini 2.0在模型的早期阶段就将不同模态的信息进行深度融合。并且,Gemini 2.0采用混合专家架构(Mixture of Experts, MoE),通过动态路由机制实现多任务并行处理,在参数规模急剧增长的同时,能够大幅提升计算效率。Gemini2.0不仅能够理解图像中的2D空间概念,同时还具有3D的空间推理能力,例如,模型能很好地理解尺寸、距离和方向等概念,并可以利用这种理解来推理场景的状态和要执行的动作。


图片来源:《Gemini Robotics: Bringing AI into the Physical World》。Gemini2.0模型的3D推理能力:能够推理检测出图中各类物体的3D边界框识。
以Gemini2.0这个更加强大的多模态模型为基座,Google在2025年3月和4月推出了两个具身智能模型:Gemini Robotics-ER和Gemini Robotics。
Gemini Robotics-ER模型的本质仍然是一个视觉语言模型(VLM),在Gemini 2.0的基础,通过注入大规模的具身推理(Embodied Reasoning, ER)数据——这些数据包括精确的空间几何标注(如2D/3D边界框、关键点、抓取姿态)和机器人任务上下文——进行优化训练,使其能够更好地理解3D场景、物体关系和相互作用(物体关键点、轨迹预测,抓取点预测等),从而能够输出一系列机器人的任务规划。例如,模型能够推理出要抓起“香蕉的茎中部的抓握点和抓握角度”(下图右)。

图片来源:《Gemini Robotics: Bringing AI into the Physical World》。Gemini Robotics-ER模型的具身推理能力。
Gemini Robotics模型则是在Gemini Robotics-ER模型上进行机器人数据微调的具身智能主模型。模型采用双组件架构的设计:一个基于蒸馏后的Gemini Robotics-ER模型的云端主干,以及一个本地动作解码器。云端主干负责接收来自机器人的多模态输入(包括当前场景图像和文本指令),并进行理解与推理;部署在机器人本地的动作解码器则负责将云端主干输出的动作特征序列解码为可执行的动作指令。

图片来源:《Gemini Robotics: Bringing AI into the Physical World》。Gemini Robotics模型架构。
Gemini Robotics模型的云端主干由于采用了蒸馏版本的Gemini Robotics-ER,故而将云端的推理延迟由几秒优化至160ms以内。当云端主干+本地解码器进行结合后,虽然Gemini Robotics模型从原始观测输入到低级动作模块输出的端到端延迟约为250ms,但是得益于Gemini Robotics-ER模型强大的具身推理能力,再经过动作分块化(Action Chunking)设计后,模型能够输出更加智能化、长视距且稳健的多步动作分块(multiple actions in the chunk),最终使得模型不仅能够以50Hz的频率输出平滑的动作,还能保留云端主干网的泛化能力。
10.Helix模型与FiS-VLA模型
2025年2月,在与OpenAI分道扬镳后,Figure AI发布了其视觉-语言-动作(VLA)的端到端具身模型Helix。Helix模型的独特之处在于其采用了快慢双系统的分层化结构设计。
具体而言,模型包含System 1(快思考)和System 2(慢思考)两个模拟人类思考方式的推理决策系统(分别由两个GPU负责运行)。上层模型System 2(慢思考层)是一个700亿参数的视觉语言模型,其负责以7-9Hz的频率进行场景理解、机器人状态分析和语言解析并生成隐向量(Latent Vector),该隐向量是慢思考层任务解析和规划后所输出的潜在行为意图向量,负责对下层模型System 1进行约束。下层模型System 1负责底层控制任务,其由一个8000万参数的交叉注意力编码器-解码器的transformer网络构成,System 1以机器人状态、单目图像以及System 2输出的隐向量(Latent Vector)作为输入,最终能够以200Hz的频率输出为机器人上肢动作控制信号。

Helix模型通过“快慢脑”构造的方式在保持模型通用性泛化能力的基础上实现了机器人高频动作(200Hz)的实时控制能力。并且,在协作类任务中,由于两个机器人使用同一套Helix模型权重,并且由同一个“大脑”(System 2)产生潜在行为意图向量,能够很好地实现两个机器人之间的语义空间对齐,因此Helix模型表现出优异的零样本、长视野任务的机器人间的动态协作能力。
2025年6月,智平方联合北大、港中文大学以及北京智源人工智能研究院共同推出了FiS-VLA模型。模型同样采用快慢双系统的分层化结构设计。但不同的是,以往的双系统VLA模型往往将执行层系统(System 1)作为一个附加的、轻量级策略系统,S1和S2是两个独立的神经网络模块。这样的设计方式使得S1无法充分利用S2的预训练知识,限制了模型的性能。在此基础上,FiS-VLA模型将S1内嵌到了S2中,通过将S2(慢思考层)网络中的最后几层改造成S1,使得S1能直接继承S2的预训练知识,从而能够更好地理解S2所输出的行为意图隐向量。

具体而言,S2负责处理二维图像、语言指令等低频输入,并生成中间隐特征(Latent)作为S1的条件信息。S1可对三维点云、二维图像、机器人状态等高频输入进行处理,输出稳定且响应迅速的动作指令。并且,为对机器人动作输出指令进行联合优化,FiS-VLA模型提出了一种双感知协同训练策略,即同时采用自回归策略(输出离散动作指令)与扩散策略(输出连续动作指令)进行训练和推理。上述的模型架构使得FiS-VLA在保留S2多模态推理能力的同时,支持117.7Hz的高频动作生成。

小结:
然而,基于“语言”模态的VLA范式并非唯一的技术方向。与之并行的是基于“世界模型”的路径,其核心在于从“像素”模态中直接学习物理动态与环境规律并进行预测。这两种路径孰优孰劣,在自动驾驶等相近领域一直是重要的技术争论。
值得关注的是,两种路径正显现出融合趋势。以智元GO-1模型为例,它在VLA框架中创造性地融入了从视频数据中提炼通用动作表示的“隐式动作模型”,形成了一种名为ViLLA(Vision-Language-Latent-Action)的新型混合架构。这预示着下一代具身模型可能走向多范式协同的道路。
感谢阅读,文中如有错误欢迎您在评论区交流,文章不定期更新,欢迎关注公众号。
公众号由个人创建,文章仅代表个人观点且仅作科普知识分享使用,不作商用。文章内容为原创,不得以任何形式进行转载和搬运。如果您认为图片来源侵犯了您的知识产权,请联系公众号,我将第一时间删除。


