▲ 封面页：深度架构的演进——从代价体积到基础模型（2018–2023）

如果你让一台机器人睁开"双眼"看世界，它遇到的第一个问题其实和我们人类一样：这个东西离我多远？

双目立体匹配（Stereo Matching）就是回答这个问题的经典方案——给机器装上两个"眼睛"，通过左右两张图像之间的细微位移（视差），用几何关系把距离算出来。道理很简单，但真做起来，坑多到怀疑人生：反光的玻璃、空无一物的大白墙、被挡住一半的物体……全是传统方法的噩梦。

过去这几年，深度学习把这件事彻底重写了一遍。这篇文章用 13 张图，带你走完从 2018 到 2026 的完整演进路线：代价体积怎么越堆越深，理想假设怎么被一个个打破，基础模型又怎么让立体匹配第一次做到了"开箱即用"。

01 · 先搞清楚任务本身

立体匹配 vs 单目深度：一场"两只眼睛"和"一只眼睛"的对比

在动手之前，先分清两条技术路线。立体匹配拿的是一对校正过的图像，流程是：特征提取 → 匹配 → 视差估计 → 精细化 → 深度图。它赢在几何约束硬、精度高；但输在要有双目硬件，而且对遮挡和无纹理区域很脆弱。

单目深度估计只要一张图，靠数据驱动直接"猜"深度。部署成本低、泛化直觉好，但绝对尺度天生不准。

记住这张对比图，后面 2025 年"单目先验注入双目"的大戏，正是这两条路线的联姻。

▲ 左边是数据驱动的单目深度，右边是几何驱动的立体匹配；底部的遮挡、无纹理、光照变化，是两者共同的"真实世界难题"

02 · 一张图看懂全局

演进路线图：六次关键跃迁

把 2018 到 2026 年压缩成一句话，大概是：手工特征 → 端到端 CNN → 注意力 → 上下文融合 → Transformer → 多模态与大模型。

每一次跃迁，都是在解决上一代留下的痛点。端到端 CNN 干掉了手工特征；注意力解决了"该看哪里"；上下文融合处理了遮挡和弱纹理；Transformer 建模了长距离依赖；最后大模型把泛化问题一口气端了。

▲ 完整技术演进路线：每个箭头背后，都是一批论文和一场范式转移

03 · 2018

金字塔与空间金字塔模块：3D 卷积时代的开端

2018 年的代表作是 PSMNet（Pyramid Stereo Matching Network）。它的两个设计影响了之后整整五年：

① 空间金字塔池化（SPP）——把全局上下文塞进特征里，专门治大白墙这种无纹理区域；

② 堆叠的 3D 卷积去正则化代价体积——不再靠人工规则聚合匹配代价，直接让网络自己学。

代价体积（Cost Volume）这个概念从此成为深度立体匹配的标配：对每个像素、每个候选视差都记一个"匹配得分"，然后交给网络去筛选。代价体积越大越准，但也越吃显存——这个甜蜜的负担，贯穿了整个 3D 卷积时代。

▲ PSMNet：SPP 模块 + 堆叠 3D 卷积，把立体匹配正式带进"端到端"时代

04 · 2022

走向真实世界：那些"理想假设"开始一个个崩塌

基准数据集上的分数越来越漂亮，但大家逐渐发现：实验室里干净、校正完美、纹理丰富的图像，和真实世界完全是两回事。

真实世界里有什么？遮挡（左眼看得见、右眼看不见）、反光和透明（玻璃门让匹配彻底迷惑）、运动模糊、重复纹理（格子墙、百叶窗）、大视差范围，还有对亚像素精度的苛刻要求。

2022 年前后，一批工作开始正面硬刚这些"不理想"：更鲁棒的特征、自适应的聚合策略、面向真实场景的新数据集。立体匹配的研究重心，从"刷榜"转向了"能用"。

▲ 六大真实世界难题：遮挡、反光、模糊、重复纹理、大梯度、亚像素精度——每一个都是传统方法的软肋

05 · 2023

几何编码 × 迭代优化：IGEV 的融合之道

到 2023 年，两个流派已经各自成熟：一派是 3D 卷积派，聚合几何编码代价体（GEV），全局信息足但推理慢；另一派是迭代优化派（以 RAFT-Stereo 为代表），用循环单元一次次修正视差，快而灵活。

IGEV（迭代几何编码体）的聪明之处在于：先用 GEV 把几何信息编码成一个高质量的初始视差，再交给 ConvGRU 迭代细化。相当于让"慢而稳"的给"快而灵"的打个好底子，迭代次数少了，精度反而上去了。

这个"粗初始化 + 迭代精修"的配方，后来几乎成了立体匹配的标准架构——包括 2025、2026 年的基础模型，内部依然长这样。

▲ IGEV：几何编码模块负责"看得全"，迭代优化模块负责"修得准"，两者取长补短

06 · 2024

场景自适应：让网络学会"挑着看"

2024 年的 Selective-Stereo 回答了一个更细的问题：不是所有频率的信息都同样有用。高频细节（边缘、纹理）适合定位，低频上下文（区域结构）适合消歧——但不同场景需要的不一样。

于是它引入了选择性融合机制：多尺度特征提取之后，不一股脑全用，而是根据场景自适应地挑选、组合不同频率的特征，再构建代价体、做正则化、回归视差。

一句话总结：从"堆更多特征"进化到"会挑特征"。这种精细化设计思想，也是后来把大模型先验"选择性"注入的预演。

▲ Selective-Stereo 流程：多尺度提取 → 选择性融合 → 代价体构建与正则化 → 视差回归

07 · 2025（上）

跨模态联姻：单目先验注入双目匹配

还记得第 01 节埋的伏笔吗？2025 年，两条路线正式走到了一起。

单目深度模型（DepthAnythingV2、UniDepth 这类）在海量互联网数据上训练过，见多识广——看一眼反光的玻璃门，它凭"常识"就知道那是一扇门。这种单目先验恰恰是纯几何立体匹配最缺的东西。

于是"联姻"发生了：把单目网络提取的深度、语义、法线等先验信息，作为额外线索注入双目匹配的代价构建与聚合环节。几何负责精确，先验负责兜底——立体失效的地方单目顶上，单目模糊的地方几何校准，鲁棒性直接上一个台阶。

▲ 单目先验（深度/语义/法线）注入双目流程：一次各取所长的跨模态融合

08 · 2025（下）

零样本时代的黎明：FoundationStereo

2025 年真正的大事件，是 FoundationStereo 把立体匹配带进了"基础模型"时代。

它干了三件事：用 side-tuning 把预训练的 DepthAnythingV2 适配成双目特征提取器，保留了海量互联网数据学到的单目先验；用轴向-平面卷积 + Disparity Transformer 双分支做代价滤波，兼顾视差维度的长程推理和计算效率；再用 ConvGRU 迭代细化收尾。

结果就是：训练一次，到哪都能用。在从没见过的数据集上零样本推理，精度碾压一票专门微调过的方法。立体匹配第一次成了真正的"即插即用"组件——对机器人和自动驾驶来说，这个性质比榜单上零点几个点的提升重要得多。

▲ FoundationStereo：大规模预训练 + 零样本迁移，立体匹配的"开箱即用"时刻

09 · 2026

迈向边缘实时：Fast-FoundationStereo

基础模型虽好，但一个残酷的现实是：它太慢了。近 500 毫秒一帧的速度，在机器人这种延迟敏感的场景里等于不可用。

Fast-FoundationStereo 用一套"分而治之"的组合拳解决了这个问题：

① 知识蒸馏——把双模块混合主干压成单个轻量学生网络；

② 分块架构搜索——代价滤波网络拆块搜索最优设计，复杂度指数级下降；

③ 结构化剪枝——把迭代细化模块里的冗余通道剪掉，再训练恢复精度。

最终效果：速度提升 10 倍以上（49ms，TensorRT 下 21ms，达到实时帧率），零样本精度几乎不掉。峰值显存 0.63GB，能塞进 Jetson 这类边缘设备——立体匹配基础模型，终于能上车、上机器人了。

▲ Fast-FoundationStereo：蒸馏 + 分块搜索 + 剪枝，三管齐下把基础模型压进边缘设备

10 · 未来

破局与融合：下一代 3D 视觉的三个方向

故事讲到这里，往下看有三个值得押注的方向：

广义视差（Geo-Stereo）——视差不再局限于双目水平位移，向更广的几何与多视角关系扩展；

多模态与多视点融合——视频、多视角、语义信息统一进来，立体匹配不再是孤立模块；

统一 3D 视觉大模型——重建、理解、生成装进一个模型，立体匹配成为其中的一项能力，而不是一个独立的算法。

▲ 从传统视差到多视融合，再到统一大模型——"破局"与"融合"是下一代 3D 视觉的关键词

写在最后

回头看这八年：3D 卷积建立了代价体积范式，迭代优化让它跑得更快，选择性机制让它变得更聪明，单目先验和大模型让它终于走出实验室，而压缩加速让它真正落进了硬件里。

技术演进从来不是一条直线，但方向始终清晰：离真实世界更近一点，离"人人可用"更近一点。