1. 执行摘要与引言：人工智能的“实体化”时刻
2026年2月4日至6日，在加拿大蒙特利尔的Mila魁北克人工智能研究所（Mila - Quebec AI Institute）举行的世界模型研讨会（World Modeling Workshop），标志着人工智能研究领域的一个关键转折点。如果说过去十年是“生成式AI”的时代，其特征是基于海量互联网文本和图像的概率性预测，那么本次研讨会则正式确立了“世界模型（World Models）”作为下一代智能系统的核心范式。这一范式转变的核心在于，人工智能不再仅仅满足于生成表面上合理的感官数据（如逼真的图像或流畅的文本），而是必须构建内在的、压缩的、具有因果推理能力的环境表征，以便在物理世界中进行有效的推理、规划和行动。
本次研讨会汇聚了包括图灵奖得主Yoshua Bengio和Yann LeCun，以及LSTM之父Jürgen Schmidhuber在内的顶尖学者，同时也吸引了来自Google DeepMind、Meta FAIR、纽约大学等机构的众多前沿研究人员。会议议程不仅涵盖了自监督学习（SSL）、强化学习（RL）和机器人学等传统领域的最新进展，更深入探讨了如何利用世界模型解决生成式视频模型的物理幻觉问题，以及如何构建标准化的研究基础设施以应对日益严重的“复现性危机”。
本报告将对研讨会的理论贡献、技术突破和未来方向进行详尽的梳理与分析。报告将首先剖析世界模型的理论基础及其与生成式AI的本质区别；随后深入解构本次会议推出的关键基础设施——Stable-Worldmodel (SWM) 生态系统；接着分析**物理一致性（Physics Alignment）**技术的最新进展，特别是利用潜在空间模型（Latent World Models）作为奖励函数的研究；最后，报告将综合研讨会上的论文与海报，探讨图神经网络、因果推理及具身智能在世界模型框架下的融合趋势。
2. 理论重构：从生成引擎到行动模拟器
2.1 世界模型的定义与演进
本次研讨会的一个核心议题是厘清“世界模型”的定义及其在当代AI架构中的位置。根据研讨会的官方定义与背景材料，世界模型是指智能代理（Agent）为了理解外部交互环境而构建的内部模型，其核心功能是预测在特定行动和控制信号下，环境状态将如何演变。这种能力是决策、规划和泛化的基础。
与依赖于像素级重建的生成式模型（如Sora或Gen-3）不同，世界模型更侧重于**潜在动力学（Latent Dynamics）**的建模。Yann LeCun在会议中多次强调，智能的本质在于预测，但预测的目标不应是高维度的感官细节（如地毯的纹理），而应是与任务相关的抽象状态（如障碍物的位置或物体的物理属性）。这种从“像素空间”到“潜在空间”的转移，是世界模型区别于传统视频生成模型的关键分水岭。
表 1：生成式模型与世界模型的关键维度对比分析
维度 | 生成式模型 (Generative Models) | 世界模型 (World Models) |
核心目标 | 感官保真度 (Perceptual Fidelity) | 功能动力学 (Functional Dynamics) |
操作空间 | 像素空间 (Pixel Space)，高维且冗余 | 潜在空间 (Latent Space)，压缩且抽象 |
预测依据 | 文本提示 (Prompts) 或前序帧 | 当前状态 (State) + 动作 (Action) |
典型架构 | Diffusion Models, Autoregressive Transformers | JEPA, RSSM, GNNs |
主要应用 | 内容创作、娱乐视频生成 | 机器人规划、自动驾驶、科学发现 |
评估标准 | FID, FVD (图像/视频质量) | 任务成功率, 物理一致性, 规划效率 |
2.2 神经网络世界模型的历史回溯
在开幕主题演讲中，Jürgen Schmidhuber 以“神经世界模型的繁荣（The Neural World Model Boom）”为题，对这一领域的历史进行了深度溯源。他指出，当前对世界模型的热潮并非凭空而来，而是建立在长达数十年的研究基础之上。Schmidhuber详细阐述了他在1990年至1991年间提出的早期概念，即利用循环神经网络（RNN）作为通用世界模型来处理部分可观测环境中的适应性问题。
Schmidhuber的理论框架强调了“控制器（Controller）”与“世界模型（Model）”的分离与协作。在这种架构中，世界模型负责预测控制器的行动后果（包括痛苦或奖励信号），而控制器则利用这些预测进行“心理实验（Mental Experiments）”或规划。更进一步，他提到了早期的“对抗性人工好奇心（Adversarial Artificial Curiosity）”概念，即控制器通过最大化世界模型的预测误差来探索未知环境，这在某种程度上预示了后来生成对抗网络（GANs）的原理。这一历史视角的引入，不仅为当前的技术热潮提供了理论锚点，也提醒研究社区关注那些早在深度学习爆发前就被提出的基础性问题，如长期记忆（LSTM的基础）和部分可观测性。
2.3 联合嵌入预测架构（JEPA）的崛起
作为本次研讨会的另一位重量级人物，Yann LeCun 的演讲重点阐述了**联合嵌入预测架构（JEPA, Joint-Embedding Predictive Architectures）**在训练世界模型中的核心地位。LeCun长期以来一直批评基于自回归（Autoregressive）的大语言模型（LLM）难以通向通用人工智能（AGI），因为它们缺乏对物理世界的这种“基础模型”。
JEPA架构的核心创新在于其摒弃了传统的重建损失（Reconstruction Loss）。传统的自监督学习往往要求模型重建被遮蔽的输入部分（如Masked Autoencoders），这迫使模型花费大量容量去记忆那些不可预测且无关紧要的细节（如树叶随风摆动的确切像素位置）。相比之下，JEPA通过在潜在空间中进行预测，仅关注那些具有预测价值的高层特征。研讨会期间展示的研究表明，JEPA类模型在处理视觉推理、动作规划和物理一致性方面展现出了超越生成式模型的潜力，特别是在需要长程规划和复杂因果推理的任务中。
3. 基础设施生态：Stable-Worldmodel (SWM) 的构建与意义
尽管世界模型的理论前景广阔，但在实际工程落地中，研究人员面临着严重的“碎片化”和“复现性危机”。为了解决这一痛点，Mila的研究团队在本次研讨会上正式推出了Stable-Worldmodel (SWM) 生态系统。这一基础设施的发布，可能对未来几年的具身智能研究产生深远影响。
3.1 研究碎片化与复现性挑战
在SWM发布之前，基于模型的强化学习（MBRL）领域缺乏统一的基准和工具链。大多数现有的实现都是针对特定论文的“一次性代码”，这导致了极高的重用成本和潜在的隐蔽Bug。例如，不同的研究可能在帧堆叠（Frame Stacking）、动作重复（Action Repeat）或环境重置机制上存在细微差异，这些差异往往会显著影响实验结果，使得不同算法之间的横向比较变得毫无意义。
Lucas Maes 和 Quentin Le Lidec 等人提出的SWM旨在通过提供模块化、经过测试且文档完善的代码库来打破这一僵局。他们的目标是让世界模型的研究像计算机视觉（CV）或自然语言处理（NLP）那样拥有标准化的流水线（Pipeline）。
3.2 SWM 的核心架构与功能
SWM生态系统的设计围绕着“简化从想法到实验的路径”这一理念，其核心组件包括：
统一的 World 接口 (The World Interface):SWM 引入了一个封装了 Gymnasium 环境的高层接口。与标准的 Gym Wrapper 不同，SWM 的接口专为潜在动力学模型设计。它允许研究人员轻松定义和操作环境的内部状态，支持多步预测和回滚，这对于训练需要长时间视界的规划器至关重要。
可控变异因子 (Factors of Variation, FoV):这是SWM最具创新性的特性之一。为了支持鲁棒性（Robustness）和持续学习（Continual Learning）的研究，SWM内置了对环境属性的细粒度控制。研究人员可以通过API动态调整环境的视觉属性（如光照、纹理、背景颜色）和物理属性（如摩擦系数、物体质量、重力加速度）。这种设计使得在模拟环境中进行“分布外（OOD）”泛化测试变得前所未有的简单。
标准化评估套件 (Evaluation Suite):SWM 集成了一套标准的评估任务和规划算法（如模型预测控制 MPC、交叉熵方法 CEM）。这意味着研究人员在开发新的世界模型架构时，可以直接调用这些标准规划器来测试模型的性能，而无需自己编写容易出错的规划代码。这种解耦设计确保了评估结果主要反映模型本身的质量，而非规划算法实现的优劣。
3.3 案例研究：DINO-WM 的零样本鲁棒性
为了展示SWM的效用，研讨会展示了基于SWM构建的DINO-WM 模型的实验结果。DINO-WM 利用 DINOv2 的自监督视觉特征作为状态表示，通过SWM的训练流程，在多个机器人操作任务（如Push-T, PointMaze）中进行了测试。
借助SWM的可控变异因子功能，研究团队评估了DINO-WM在面对未见过的环境干扰时的**零样本（Zero-Shot）**规划能力。实验数据显示，在视觉外观发生显著变化（如迷宫布局改变、物体形状变异）的情况下，DINO-WM 依然能够保持高达55%的任务成功率，相比之前的基线模型（通常在35%左右）提升了约45%。这一结果有力地证明了基于强视觉特征（如DINO）和标准化训练流程（SWM）构建的世界模型，在面对现实世界的复杂性和不可预测性时，具有更强的泛化能力。
4. 物理一致性：生成式视频模型的“去幻觉化”
本次研讨会的另一个技术高潮是关于**推理时物理对齐（Inference-time Physics Alignment）**的研究。随着Sora等视频生成模型的普及，视频的逼真度已达到惊人水平，但“物理幻觉”（如物体凭空消失、穿墙而过）依然是阻碍其应用于模拟和规划的阿喀琉斯之踵。Xiaofeng Zhang、Jianhao Yuan 以及 Meta/Mila 联合团队的研究为解决这一问题提供了新的思路。
4.1 WMReward：以世界模型为裁判
该研究的核心思想是：与其试图训练一个生成模型同时学会“渲染”和“物理”，不如将两者解耦。研究人员提出了WMReward 方法，利用一个预训练的潜在世界模型（具体使用的是 V-JEPA-2）作为“物理裁判”或奖励函数，来指导视频生成模型的推理过程。
WMReward 的工作机制：
候选生成： 对于给定的文本提示或初始帧，视频生成模型首先生成多条候选的去噪轨迹（Denoising Trajectories）。
潜在空间评估： V-JEPA-2 模型会对这些生成的视频片段进行编码，并在潜在空间中预测未来的状态演变。由于 V-JEPA 是在大量物理数据上通过自监督学习训练的，它对符合物理规律的状态转换有很强的先验知识。
惊奇度评分（Surprisal Scoring）： 系统计算 V-JEPA 的预测状态与生成模型实际生成的下一帧状态之间的差异（即“惊奇度”）。如果生成视频中出现了违背物理常识的现象（如球突然改变轨迹而没有任何受力），V-JEPA 的预测误差会急剧上升。
引导采样： 这个预测误差被转化为负奖励信号，用于指导生成模型的采样过程（如通过 Best-of-N 采样或梯度引导），从而筛选出最符合物理规律的视频片段。
4.2 PhysicsIQ 挑战赛的胜利
WMReward 方法的有效性在 ICCV 2025 Perception Test PhysicsIQ Challenge 中得到了验证。该挑战赛专门测试模型在处理复杂物理交互（如碰撞、重力、摩擦）时的准确性。搭载了 WMReward 的系统最终以 62.64% 的得分夺得冠军，超过了之前的 SOTA 模型 7.42%。
此外，人类偏好研究（Human Preference Study）也显示，经过 WMReward 优化的视频在物理合理性上比基线模型高出 11.4% 的胜率。这一成果不仅在技术上证明了潜在世界模型可以作为生成模型的“护栏”，也从方法论上确立了“生成”与“判别/预测”协同工作的混合架构优势。
5. 方法论突破：从图神经网络到价值引导规划
除了上述基础设施和物理对齐的突破外，研讨会还涌现了一批针对特定技术难题的创新论文，涵盖了图动力学、长程规划和无标签动作学习等领域。
5.1 Graph Dreamer：变拓扑系统的通用世界模型
传统的基于CNN或Transformer的世界模型通常假设输入的观测维度是固定的（如64x64的图像）。然而，现实世界中的许多系统（如电网、物流网络、分子结构）本质上是图结构，且节点数量和连接关系（拓扑）是动态变化的。Donna Vakalis、David Rolnick 和 Yoshua Bengio 展示的 Graph Dreamer 正是为了解决这一问题。
Graph Dreamer 结合了图神经网络（GNN）与模型预测控制。其核心创新在于它学习的是支配系统动力学的局部物理规则（如热力学定律），而非整个系统的全局状态映射。这意味着，在一个小型建筑的热力系统上训练的模型，可以**零样本迁移（Zero-Shot Transfer）**到一个拥有完全不同房间布局和传感器数量的大型摩天大楼上。这种对拓扑结构的泛化能力，对于构建可扩展的工业级世界模型（如用于智能建筑节能控制）具有革命性意义。
5.2 基于JEPA的价值引导动作规划
虽然JEPA在学习表征方面表现出色，但如何利用它进行具体的动作规划一直是个难题，因为JEPA本身并不直接输出动作。Matthieu Destrade 和 Yann LeCun 等人提出的 "Value-guided action planning with JEPA world models" 提供了一种优雅的解决方案。
该研究通过特定的正则化项，塑造JEPA的潜在表示空间，使得两个状态嵌入之间的距离能够近似反映在特定环境中到达目标的代价（即负的价值函数）。换句话说，模型学到的不仅仅是“状态A到状态B”的预测，而是“状态A比状态B更接近目标”的价值流形。这使得规划器可以在潜在空间中直接进行梯度下降，寻找通往高价值状态的路径，从而显著提高了在稀疏奖励环境下的规划效率，相较于标准JEPA模型在简单控制任务上的表现有显著提升。
5.3 具身智能与无标签动作学习
在机器人领域，Open-Insect 项目展示了如何利用世界模型进行生物多样性监测中的开放集识别，体现了“AI for Science”的落地。同时，针对现实世界数据中往往缺乏精确动作标签（Action Labels）的问题，多篇论文探讨了 Latent Action World Models（潜在动作世界模型）。这类模型试图从视频观测中逆向推断出导致状态变化的“潜在动作”，从而允许智能体通过观察人类或其他机器人的视频来学习策略，而无需获取底层的电机控制指令。这对于利用互联网海量视频数据训练通用机器人模型至关重要。
6. 专家小组讨论：安全性、因果性与规模化的辩论
研讨会第一天的压轴环节是由 Randall Balestriero 主持的专家小组讨论，参与者包括 Yoshua Bengio, Yann LeCun, Sherry Yang, Shirley Ho 和 Alessandro Lazaric。虽然无法获取逐字记录，但结合各位嘉宾的主题演讲和现场互动的线索，我们可以重构出几场关键的辩论。
6.1 安全性 vs. 规模化 (Safety vs. Scaling)
这是一个贯穿全场的张力点。一方面，以工业界为代表的观点（隐含在某些扩展模型的讨论中）倾向于认为，只要模型足够大、数据足够多，物理理解和安全性会作为“涌现能力”自然出现。另一方面，Yoshua Bengio 强烈主张，单纯的规模化不足以保证安全，必须引入因果结构（Causal Structure）和贝叶斯建模。
Bengio 强调，世界模型必须具备进行反事实推理（Counterfactual Reasoning）的能力，即模拟“如果我这样做，会发生什么灾难性后果”，而不仅仅是拟合训练分布。这种“系统2（System 2）”式的慢思考机制，被认为是构建安全AI的必要防线。WMReward 的成功在某种程度上为这种混合观点提供了证据：大规模预训练提供了基础能力，但显式的物理/逻辑约束（通过世界模型施加）对于消除幻觉和确保安全是必不可少的。
6.2 模拟与现实的鸿沟 (Simulation vs. Real)
Sherry Yang 在演讲中提出的“将预训练世界模型作为模拟器”的观点，引发了关于“Reality Gap”的讨论。核心问题在于：如果我们在学习到的世界模型中训练代理，代理是否会学会利用模型本身的漏洞（Adversarial Examples）而非真实的物理规律？
共识倾向于认为，虽然世界模型可以极大地提高样本效率（Sample Efficiency），但在部署到真实物理系统（如机器人）之前，**后训练（Post-training）**阶段的现实世界微调依然是不可或缺的。世界模型的作用是让智能体在进入真实世界前已经具备“90分”的能力，从而将昂贵且危险的试错成本降至最低。
7. 未来展望与未解难题
研讨会最后，与会专家展望了未来十年的“大挑战（Grand Challenges）”。
7.1 硬件与计算范式的适配
当前的GPU集群主要是为Transformer架构中密集的矩阵乘法优化的。然而，未来的世界模型，特别是基于图的Graph World Models和稀疏的JEPA架构，可能需要不同的硬件支持。LeCun 提到的分层规划（Hierarchical Planning）也暗示了计算需求将从单一的庞大网络转向多尺度、多模块的协同工作，这对未来的AI芯片设计提出了新的要求。
7.2 超越基准测试：Humanity's Last Exam
传统的基准测试（如ImageNet或简单的Atari游戏）已无法满足评估高级世界模型的需求。研讨会提及了如 PhysicsIQ 和 Humanity's Last Exam (HLE) 等新一代基准。HLE 特别强调测试模型在极度困难、甚至对人类专家都具有挑战性的任务上的表现，旨在衡量模型是否真正掌握了推理和泛化能力，而非仅仅是记忆了训练数据。SWM Evaluation Suite 的推出也是为了建立一套标准化的、涵盖视觉和物理多重变异的测试平台，以推动领域向更严谨的实证研究发展。
7.3 迈向主动发现的AI科学家
Shirley Ho 的工作指出了世界模型的终极形态——AI科学家。未来的世界模型不仅是被动地学习已知规律，更将具备**主动学习（Active Learning）**的能力。它们将能够识别自身的知识盲区（认知不确定性），并自主设计实验来探索未知，从而发现新药、新材料甚至新的物理定律。这要求世界模型不仅要精准，还要具备自我反思和假设生成的元认知能力。
8. 结论
2026年的Mila世界模型研讨会不仅是一场学术会议，更是一份关于人工智能未来的宣言。它宣告了AI研究正在从“旁观者时代”（被动消费互联网数据）迈向“行动者时代”（在物理世界中主动交互）。
通过 Stable-Worldmodel 生态系统的建立，研究社区终于拥有了标准化的武器库来对抗复现性危机。通过 WMReward 等物理对齐技术的突破，生成式AI正逐渐摆脱“幻觉”的困扰，向着可信赖的物理模拟迈进。而 JEPA 与 Graph Dreamer 等新架构的提出，则展示了超越Transformer、更适应物理世界本质的算法可能性。
正如研讨会所揭示的，通往通用人工智能（AGI）的道路，不仅需要更多的数据和算力，更需要更好的结构——那些能够理解因果、尊重物理、并能为了人类福祉而安全规划的结构。在这个意义上，Mila 2026研讨会可能被后世视为机器智能真正开始“睁眼看世界”的时刻。
