开放数据中心标准推进委员会：
《2025年基于CXL方案的AI应用优化与研究》
（完整版.pdf ）
以下仅展示部分内容
下载方式见文末

本文整理自开放数据中心标准推进委员会（ODCC）发布的《基于CXL方案的AI应用优化与研究》白皮书（编号ODCC-2025-01003），由三星（中国）半导体、中国电信研究院、中国信息通信研究院等机构联合编撰，系统梳理了CXL技术在AI领域的应用实践、瓶颈突破及性能验证，为AI开发者、系统架构师提供可落地的技术指南，助力下一代AI数据中心高效互连生态构建。

一、前言：CXL技术——破解AI算力与存储瓶颈的关键

CXL（Compute Express Link）作为面向数据中心的高速互连技术标准，基于PCI Express 5.0物理层构建，核心价值在于解决AI应用中的算力与存储瓶颈，为AI计算提供高性能、高可靠性的数据传输支撑。其核心优势体现在三个方面：一是显著降低跨设备数据传输延迟，二是通过统一内存池化管理解决GPU/TPU集群中的内存碎片问题，三是为分布式模型训练提供高效的缓存一致性机制。

随着生成式AI、大语言模型（LLM）等前沿技术的爆发式发展，AI应用对存储资源的需求呈现指数级增长，三星CMM-D、海力士CXL DRAM等CXL设备，已成为AI数据中心构建高带宽、低延迟互连架构的关键组件。但目前行业面临核心挑战：现有研究多聚焦于CXL通用协议验证，针对AI工作负载特性优化的训练框架适配仍处于探索阶段，尤其在大模型训练的内存密集型计算、跨节点数据同步等场景，亟需完整的AI-CXL软硬件协同优化体系。

本白皮书通过系统梳理CXL技术在AI领域的典型应用方案、实际案例分析与性能基准测试，填补了这一空白，为行业提供可复用的技术方案，推动CXL生态在AI算力基础设施建设中的规模化落地。

二、核心基础：CXL设备与协议详解

（一）CXL协议概述

CXL是面向未来计算架构的高速互连技术，最初由英特尔、AMD等企业联合发起，后获得谷歌、微软等科技巨头支持，核心目标是突破现代计算与存储系统在性能、扩展性与能效方面的瓶颈，解决传统服务器架构中CPU本地内存池与PCIe加速器离散内存无法统一调度的“内存割裂”问题。

CXL协议基于PCIe 5.0技术构建，完全兼容现有PCIe生态，通过三大核心子协议实现高速互联、内存共享与缓存一致性：

1. CXL.io：基础协议层，支持CPU通过PCIe总线访问CXL设备，与传统PCIe设备兼容；

2. CXL.cache：通过缓存一致性机制，允许外部设备维护与CPU缓存同步的本地副本，将高频数据保留在CPU本地缓存、低频数据下沉至外围设备，降低内存访问延迟并提升系统吞吐量；

3. CXL.mem：实现CPU对CXL设备内存的直接寻址，将外部设备内存扩展为系统主内存的逻辑延伸，突破本地内存容量限制。

基于这三大子协议，CXL定义了三种设备模式，适配不同应用场景：

- Type 1模式：面向PCIe插槽连接的加速卡/扩展卡，支持CXL.io协议，实现与CPU高效通信；

- Type 2模式：在Type 1基础上集成CXL.cache协议，适用于高密度计算场景（如带内存的智能加速器），提升多设备协作效率；

- Type 3模式：专为内存扩展场景设计，通过CXL.mem协议将外部设备内存作为主内存扩展，实现超大规模内存池化管理。

CXL技术的核心优势的体现在：超高速数据传输（最高128 GT/s传输速率，带宽是PCIe 4.0的两倍）、突破性低延迟（AI推理场景延迟可降低30%-50%）、内存资源池化（内存利用率提升至80%以上，较传统架构提升40%）、弹性可扩展（内存容量可扩展至本地内存的10倍以上，降低硬件采购成本30%-60%）。

（二）CXL DRAM概述

CXL DRAM是基于CXL协议构建的新型内存扩展设备，通过CXL Type 3架构实现对系统内存容量和带宽的双重扩展，性能介于传统DRAM与SSD之间，在分层存储体系中可灵活部署。

目前，三星、SK海力士等存储巨头已率先推进CXL DRAM商业化落地，其中三星于2022年5月推出业界首款基于CXL 2.0规范的CMM-D 2.0模块，标志着CXL技术从实验室验证走向大规模商用。CMM-D设备性能接近远端内存，更接近于DRAM而非SSD，且具备更高的可扩展性，不仅可用于DRAM的后端补充，还能实现带宽扩展，这是目前多数外围设备不具备的核心特性，在下一代数据中心设计中占据举足轻重的地位。

三、AI场景瓶颈分析：MoE、LLM、GNN三大场景的核心痛点

白皮书重点分析了CXL技术适配的三大核心AI应用场景——混合专家模型（MoE）、大型语言模型（LLM）、图神经网络（GNN），明确了各场景的核心瓶颈，为后续解决方案设计提供依据。

（一）MoE场景：内存墙与通信开销双重制约

混合专家模型（MoE）是基于Transformer架构的先进神经网络，通过整合多个子模型（专家）的结果提升整体性能，核心由稀疏MoE层和门控网络（路由）组成，可在不影响模型质量的情况下显著降低计算复杂度。为解决传统MoE的知识混合、知识冗余问题，DeepSeekMoE引入细粒度专家分割、共享专家隔离两大创新策略，提升专家专业化水平。

但MoE场景面临两大核心瓶颈：

1. 内存墙瓶颈：MoE模型参数规模巨大，推理时面临比普通LLM更严重的内存压力。例如，2360亿参数的DeepSeek-V2需至少7块H100 GPU（每块80GB内存）才能推理，高昂的内存成本限制了模型的广泛应用，尤其在个人电脑、小型服务器等资源受限环境中难以部署；

2. 通信开销问题：分布式部署时，输入数据需跨节点传输至对应专家节点，处理结果需回传聚合，频繁的网络通信增加延迟和带宽消耗；同时，专家间中间结果同步与聚合操作也会引入额外开销，限制MoE在低延迟场景（如实时推荐）中的应用。

目前主流解决方案是“卸载策略”，通过卸载当前计算不需要的张量减少GPU内存需求，但受专家稀疏激活影响，依赖专家预取准确性，且计算与I/O不平衡导致GPU频繁停滞，存在层间、层内阻塞问题，性能提升有限。

（二）LLM场景：KV缓存的内存开销与传输延迟难题

大型语言模型（LLM）如GPT-4、Llama、OPT等，采用Transformer解码器架构，核心由嵌入层、Transformer层（掩码多头注意力模块MHA、多层感知机子模块MLP）和预测头组成，推理过程分为预填充阶段（生成KV缓存）和解码阶段（逐token生成输出）。

KV缓存（键值缓存）是LLM推理加速的核心技术，可将自注意力机制的二次计算复杂度降低为线性复杂度，但同时引入线性内存开销：KV缓存需占用大量GPU内存，且内存占用随批次大小、序列长度和模型配置线性增长。例如，半精度格式下，OPT-30B模型在批次大小为1时，序列长度从1K增加到512K，KV缓存内存需求从1GB增至672GB，远超模型权重（约55GB）。

为解决KV缓存内存不足问题，需将其卸载至CPU内存或SSD，但HBM、DRAM容量有限，SSD加载KV缓存会导致严重的数据传输延迟，成为LLM推理性能的核心瓶颈。而CXL技术的出现，为扩展内存空间、降低传输延迟提供了可行路径。

（三）GNN场景：超大规模图数据的存储与检索瓶颈

图神经网络（GNN）专为处理节点、边构成的非欧几里得图结构数据设计，广泛应用于社交网络分析、化学与生物信息学、推荐系统、交通预测、知识图谱等领域，核心通过信息聚合和特征变换实现模型训练。

GNN训练主要分为全批训练和小批量训练（基于采样），其中小批量训练是处理超大规模图数据的主流方式，流程包括子图采样、特征检索、模型计算三个阶段。但超大规模图数据（如Ogbn-papers100M包含1.1亿节点、16亿边）的特征向量数据庞大，GPU显存无法完全存储，需卸载至主机内存或SSD。

核心瓶颈在于：子图采样具有随机性，对应的特征向量随机分布在存储设备上，从SSD检索特征的访问开销极大；而主机内存容量有限，无法替代SSD，导致GNN训练效率低下，GPU等待时间过长。若能提供更高性能的内存扩展替代SSD，可大幅提升GNN训练效率。

四、核心解决方案：基于CMM-D的AI场景优化方案

针对上述三大场景的瓶颈，白皮书提出了基于三星CMM-D（CXL Memory Module-DRAM）的专属优化方案，通过CMM-D的大容量、高带宽特性，结合软件算法优化，构建AI-CXL软硬件协同体系，突破性能瓶颈。

（一）CMM-D MoE方案：四大优化技术破解内存与延迟难题

该方案提出首例基于CXL的MoE卸载框架（MoE offload），将专家模型参数存储在CMM-D中，GPU负责推理计算，通过四大核心优化技术，减少GPU停滞时间，提升推理效率：

1. 计算次序优化：重新排序DeepSeek-MoE中共享专家与路由专家的计算顺序，将共享专家放在路由专家之前计算，为专家数据传输争取时间，充分利用CXL高带宽提升预取性能；

2. I/O管理：设置1个计算流（GPU负责模型计算）和2个传输流（负责从CMM-D传输专家参数至GPU），使计算与传输互不干扰、实现重叠，大幅减少GPU停滞时间；

3. 流水线算法：为计算流和传输流设置优先级（计算流>miss传输流>预取传输流），避免资源抢占导致的延迟，确保GPU资源充分利用；

4. 基于预测的预取：通过预测算法，根据当前层隐藏层参数预测下一层所需专家参数，在GPU计算当前层时，传输流下一层专家参数至GPU，进一步降低等待时间。

方案架构上，推理前将专家参数部署在CMM-D，其余模型参数部署在GPU；推理时，通过预测算法激活计算流与传输流，实现流水线并行，最小化GPU停滞时间。

（二）CMM-D LLM方案：多层KV缓存系统提升推理性能

该方案构建基于CXL的多层KV缓存系统，利用CMM-D扩展GPU HBM和CPU DRAM，存储不断增长的KV缓存，同时结合DMA（直接内存访问）技术，降低数据传输延迟，核心优化包括三大模块：

1. KV选择模块：驱逐不重要的KV缓存，确保准确率下降可忽略。筛选三类关键token参与注意力计算——近期token（与当前token关联性强）、注意力沉点（4个初始token，对后续token可见）、高注意力分数token（累计注意力分数高，遵循幂律分布），精简冗余信息；

2. 多进程并行实现：解码阶段，CPU多核心并行处理KV缓存的预加载、选择与存储任务，减少总耗时；

3. 重叠数据传输与计算：通过CMM-D与DRAM之间的预取、扩展预取窗口至两层（注意力层+MLP层）、存储缓存与计算重叠（并行传输K张量、V张量和注意力分数），进一步降低传输与计算时间。

关键优势：CMM-D可作为锁页内存池使用，支持DMA数据传输，且不影响系统整体性能，解决了DRAM锁页内存不足的问题，使CXL到GPU的传输性能与DRAM到GPU相当。

（三）CMM-D GNN方案：内存扩展+UVA技术加速训练

该方案以CMM-D为内存扩展核心，替代SSD存储图结构和特征数据，结合UVA（统一虚拟寻址）技术，实现GPU对CPU内存、CXL内存、GPU内存的直接访问，无需额外数据拷贝，核心优化包括：

1. 内存扩展：将图结构和特征数据全部部署在CMM-D，利用其接近内存的访问延迟，提升特征检索性能，同时提高数据从CMM-D到GPU的传输速率；

2. 预取策略：GPU处理当前批次（Batch T）数据时，预取线程提前完成下一批次（Batch T+1）的子图采样和特征聚合，避免GPU等待；

3. UVA技术应用：将CMM-D内存地址映射为GPU可见的统一地址，检索到的特征数据可直接预取至GPU，避免两次数据拷贝，提升传输效率；

4. 模块优化：基于DGL框架开发GraphSAGE模型，优化DGL Dataloader、Fetch Features、内存分配等模块，采用多线程并行搜索策略加快特征索引速度。

方案采用双线程设计：主线程执行训练逻辑（取预取数据、模型训练），预取线程执行采样、聚合及数据预取，实现训练与预取并行，提升整体效率。

五、性能验证：三大方案均实现显著提升

白皮书通过标准化实验，对三大方案的性能进行了全面验证，对比传统方案（纯GPU、DRAM、SSD），验证结果表明CMM-D方案在内存占用、延迟、吞吐量、训练效率等方面均实现显著优化。

（一）CMM-D MoE方案性能验证

测试环境：配备2颗Intel Xeon Platinum 8452Y处理器、128GB DRAM、128GB CMM-D、40GB内存的NVIDIA A100 GPU，系统为Ubuntu 20.04，软件采用PyTorch 1.13.1、CUDA 11.8.0；测试数据集为WikiText（含超1亿词条，适合长期依赖关系模型测试）。

测试结果：与原版DeepSeek-V2-Lite方案相比，CMM-D MoE方案最大可节省82%的GPU内存使用量；当GPU内存减少55%时，性能损失仅为31%，有效解决了MoE模型内存占用过高的难题，同时降低了部署成本。

（二）CMM-D LLM方案性能验证

测试环境与MoE方案基本一致，软件增加FlexGen LLM引擎、PyTorch 2.5.0；评估数据集为OpenBookQA（用于高级问答研究，需多步推理和常识知识），测试模型为LLaMA-7b、OPT-13B。

测试结果：

1. 准确性：通过KV选择模块，即使减少标记使用量（高存储KV预算从10%降至4%），模型准确性仍优于全缓存基线，因筛选掉了低效、误导性标记，提升了推理精度；

2. 吞吐量：使用OPT-13B模型测试，优化方案较旧方案（无CMM-D）提升21%，较旧方案（有CMM-D）提升7%，成功弥合了CMM-D与DRAM之间的性能差距，显著提升LLM推理效率。

（三）CMM-D GNN方案性能验证

测试环境：配备2颗Intel Xeon Gold 6430处理器、256GB DRAM、128GB CMM-D、80GB内存的NVIDIA A100 GPU，系统为Ubuntu 22.04，软件采用PyTorch 2.5.0、CUDA 12.2；测试数据集为ogbn-papers100M（含1.1亿节点、16亿边，GNN研究基准数据集）。

测试结果：

1. 训练效率：CMM-D方案训练3个epoch的时间，较DRAM方案（DGL默认方法）提升约2.5倍，较SSD方案（GIDS方法）提升约4倍；

2. 子任务性能：训练10个epoch后，CMM-D方案在特征检索（采样+聚合）环节，较DRAM方案提升约1.38倍，较SSD方案提升约8倍，大幅减少GPU等待时间，提升训练连续性。

六、总结与展望：CXL推动AI数据中心架构转型

（一）研究总结

CXL作为新一代高速互联技术，正在重塑数据中心的架构范式，本白皮书通过系统梳理CXL在MoE、LLM、GNN三大AI核心场景的应用实践，验证了其在GPU HBM扩展、内存池化、低延迟传输等方面的技术价值，提供了可复用的技术框架与实践路径。

作为CXL技术生态的重要成果，本白皮书不仅完成了技术验证，更致力于推动CXL在中国市场的应用落地，为数据中心架构师、系统集成商及存储设备厂商提供决策依据，加速CXL从实验室验证走向规模化商用。

（二）研究展望

随着CXL 3.0、3.1等新一代协议的推进，CXL技术将在内存带宽扩展、分布式存储优化、AI算力调度等领域持续释放潜力。未来核心研究方向包括：CXL Pooling（内存池化）的跨架构优化与动态资源管理，结合AI算法实现智能调度，提升内存资源利用率；探索分布式内存池化在跨数据中心场景的可行性；CXL与PCIe/NVMe等现有协议的协同优化，构建更高效的互联架构。

长期来看，CXL技术将推动数据中心从“硬件中心”向“资源中心”转型，预计2025年后实现规模化商用，为AI、实时分析、边缘计算等场景提供基础性支撑。白皮书呼吁学术界与产业界共同参与CXL生态构建，通过技术创新与场景验证，加速CXL生态的成熟与普及。

1. 篇幅有限，部分展示

   加入会员，任意下载

   资料下载方式

   Download method of report materials

   关注公众号后回复：CXL260314
   即可领取完整版资料
   
   荐：
   【中国风动漫】《姜子牙》刷屏背后，藏着中国动画100年内幕！
   【中国风动漫】除了《哪吒》，这些良心国产动画也应该被更多人知道！

   【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！

   

   如需获取更多报告

   扫码加入

   “人工智能产业链联盟”

   知识星球，任意下载相关报告！

   

   报告部分截图

   

   

   声明

   来源：开放数据中心标准推进委员会，人工智能产业链union（ID:aiyuexingqiu）推荐阅读，不代表人工智能产业链union立场，转载请注明，如涉及作品版权问题，请联系我们删除或做相关处理！

   编辑：Zero

   

   文末福利

   1.赠送800G人工智能资源。

   获取方式：关注本公众号，回复“人工智能”。

   2.「超级公开课NVIDIA专场」免费下载

   获取方式：关注本公众号，回复“公开课”。

   3.免费微信交流群：

   人工智能行业研究报告分享群、

   人工智能知识分享群、

   智能机器人交流论坛、

   人工智能厂家交流群、

   AI产业链服务交流群、

   STEAM创客教育交流群、

   人工智能技术论坛、

   人工智能未来发展论坛、

   AI企业家交流俱乐部

   雄安企业家交流俱乐部

   细分领域交流群：

   【智能家居系统论坛】【智慧城市系统论坛】【智能医疗养老论坛】【自动驾驶产业论坛】【智慧金融交流论坛】【智慧农业交流论坛】【无人飞行器产业论坛】【人工智能大数据论坛】【人工智能※区块链论坛】【人工智能＆物联网论坛】【青少年教育机器人论坛】【人工智能智能制造论坛】【AI/AR/VR/MR畅享畅聊】【机械自动化交流论坛】【工业互联网交流论坛】

   入群方式：关注本公众号，回复“入群”

   

   戳“阅读原文”下载报告。