开源大模型时代下先进计算演进的研究报告

中国开源大模型的全球下载量突破100亿次，Hugging Face平台上41%的大模型下载来自中国研发的模型，首次超过美国的36.5%。当开源追平闭源，竞争的焦点正在从"模型能不能用"转向"算力能不能撑住"。

推理算力将吃掉整个增量

大模型算力需求的结构正在发生根本性转变。

报告指出，训练算力大致每6至10个月翻一番，但推理侧的算力需求，由于多步推理和智能体应用的普及，可能在两年内增长百万倍。AMD预测2027年全球数据中心AI加速器市场规模约4000亿美元；英伟达预计仅其一家在2025至2027年的累计订单就将超过1万亿美元。

中国信通院数据佐证了这一趋势：新增算力中智能算力占比超过70%，而推理算力增速已明显高于训练算力。更深层的变化是：推理不再是单次问答，Agent驱动的应用需要多轮对话、工具调用、自我反思与规划等复杂操作，单次任务的算力消耗可达传统推理的数十倍甚至数百倍。

过去拼的是谁GPU多、谁能把模型训出来；接下来拼的是谁能把推理成本打下来、谁能支持海量智能体并发。

NVIDIA的护城河正在出现裂缝

CUDA生态长期是NVIDIA最坚固的壁垒，但开源软件栈的成熟正在改变游戏规则。

Triton、OpenXLA、MLIR等开源编译框架提供了相对中立的中间层，开发者可以用远低于CUDA的复杂度编写跨硬件的高性能算子。PyTorch 2.0的torch.compile与Triton深度集成，让算子开发变得相对厂商无关。vLLM、SGLang等推理引擎以PagedAttention、Continuous Batching为核心技术，正在重塑推理软件栈格局。

产业不站队的空间正在变大。谁能在新的开源软件栈上率先建立生态优势，谁就有机会动摇CUDA一家独大的局面。

DeepSeek V4的三件事

报告将DeepSeek V4列为"开源大模型时代的里程碑"，重点指出了三个技术信号。

第一，DSA稀疏注意力机制。V4在token维度进行动态压缩，只计算最相关的键值对，在1M token超长上下文场景下，单token推理计算量降至前代V3.2的27%，KV Cache占用降至10%。这意味着长上下文推理从"堆硬件"进入了"算法+系统协同优化"阶段。

第二，mxFP4训练精度。放弃NVIDIA主导的FP8路线，选择OCP推动的开放低精度格式mxFP4。V4的定价策略也极具压迫感：V4-Flash输入每百万tokens仅0.2元人民币，输出2元人民币，对比GPT-5.5 Pro的输入30美元/百万tokens——性价比差出一个数量级。这既是技术底气的体现，也是开源生态对闭源商业模式的直接冲击。

第三，Day 0国产算力适配。V4的早期访问权限独家开放给国产芯片厂商，前沿开源大模型与国产算力首次实现同步发布。

五个方向在同时加速

报告梳理了先进计算演进的五大技术方向，这五个方向并不是各自独立的技术路线，而是相互咬合的系统工程。

芯片层——Chiplet芯粒技术将大芯片拆分为多个小芯粒，通过先进封装与高速互联组合，有效解决了单芯片良率随面积增大而急剧下降的问题。AMD MI300系列采用13颗芯粒的复杂封装，集成CPU、GPU、HBM、I/O等多种功能模块。HBM3e已在最新AI芯片中规模化应用，HBM4将单堆栈带宽推至2TB/s以上。

系统层——Scale-up与Scale-out协同演进。节点内，AMD、Google、Meta等头部厂商联合成立UALink联盟，推出对标NVLink的开放互联标准，定义200Gbps单链路、最多1024个加速器互联。节点间，UEC正以以太网的开放生态挑战InfiniBand的封闭优势。

互联层——光互联与CPO共封装光学技术从机架间向板内渗透，800G/1.6T高带宽场景下全面优于传统电互联。NVIDIA已宣布在下一代Quantum InfiniBand交换机中采用CPO技术。

推理层——PagedAttention借鉴操作系统虚拟内存思想，将显存利用率从不足50%提升至95%以上；量化技术将显存占用降低2至4倍；投机解码可将推理速度提升2至3倍。这些技术堆叠在一起，让推理性价比在过去两年间提升了一个数量级以上。

软件层——从CUDA一家独大走向Triton/MLIR/OpenXLA多元共建。国产软件栈以华为CANN、寒武纪Neuware等为代表，走"自有生态+开源生态"双轮驱动路线，在PyTorch、vLLM、SGLang等关键开源项目中持续贡献代码。

标准化竞赛已经开始

报告在第四章花了大量篇幅讨论标准化需求。当前最突出的标准空白包括：开源大模型在异构算力上的适配评测规范缺失、万卡集群稳定性指标缺乏统一口径、跨厂商互联接口互操作规范待统一、开源推理引擎API互操作性不足。一个开源大模型从NVIDIA GPU迁移到国产芯片，通常需要数周至数月的工程投入，缺乏标准化的评测与适配流程是规模化推广的核心障碍。

UEC、UALink、UCIe、MLCommons等国际产业联盟已经在各自赛道抢占标准高地。报告建议重点推进三类标准——模型与算力适配类、系统与互联类、软件栈与生态类——并推动"标准+开源"双轮驱动，通过开源参考实现加速标准的产业落地。

报告的核心判断很明确：先进计算已经从"芯片为王"演变为"系统级竞争"与"生态级竞争"。单卡性能的差距可以通过互联网络、推理优化、软件栈协同来弥补；但生态断层的代价，不是堆硬件就能追回来的。

本文基于先进计算产业发展联盟智能计算工作组《开源大模型时代下先进计算演进的研究报告》撰写，详细内容请查阅原文。