锋行链盟推荐阅读
来源:中国信通院
锋行链盟
聚焦于人工智能、低空经济、数字经济、银发经济、文旅、通信、储能等未来产业研究,为政府和企业提供政策汇编与解读、行业研究报告、产业招商、上市辅导与投融资服务。客服微信:fengxingkonggu
以下是内容详情
前 言
随着大模型技术的飞速发展,模型参数量急剧增长,模型能力持续增强,智能应用百花齐放。基础设施的可用性决定了大模型研发及服务的效率,大模型服务的可用性又决定了智能应用的服务质量。在此背景下,高质量大模型基础设施成为推动大模型应用落地的关键要素。
目前,大模型基础设施普遍面临可用性低、稳定性差等问题,亟需从计算、网络、存储、软件和运维等多层面协同优化。在同等计算资源条件下,通过多系统协同优化提升基础设施可用性,不仅可以提高大模型开发效率和服务能力,还能有效降低应用成本,加速大模型规模化落地。
本报告聚焦大模型基础设施的五大核心能力领域:计算、存储、网络、开发工具链和运维管理,系统梳理了大模型发展对基础设施提出的新需求,剖析基础设施发展的关键技术,并提出体系化评价指标。同时,通过分析业界典型实践案例,为企业建设高质量大模型基础设施提供参考。
展望未来,大模型基础设施将与大模型一起迭代升级,并为大模型的规模化应用提供有力支撑。
报告深入探讨了高质量大模型基础设施的建设,涵盖了其重要性、挑战、关键技术、评价指标和典型实践案例。以下是报告的主要知识点:
1. 大模型基础设施概述:
概念与特性:大模型基础设施是指支持大规模人工智能模型训练、部署和应用的硬件和软件资源的集合,具备高可用、高性能、可扩展和可评价等特性。
现状:技术方面,AI 存储和网络技术不断提升;产业方面,科技大厂已形成完整生态;政策方面,各国加大资金投入。
2. 大模型基础设施挑战:
计算资源分配粗放,利用率低:训练任务排布不合理、推理请求波峰波谷现象明显、算力调度系统存在资源超额申请问题。
海量数据处理低效,数据存储成为新瓶颈:海量原始数据归集等待时间长、训练数据预处理时间长、训练阶段检查点文件读写效率低、大模型推理记忆时间短、存在输出幻觉。
并行计算规模攀升,网络通信成为新阻碍:大模型训练通信开销大、网络规划需综合考虑AI 服务器的端口需求和存储需求。
模型参数急剧增长,开发效率成为新约束:大模型训练资源需求普遍较大、模型微调、提示工程等增量环节带来开发工具新需求、超大模型的推理服务需大规模计算资源支持、大模型部署需满足推理侧设备多架构要求、推理任务要求实时性高,推理效率仍需提升。
基础设施故障率高,运维能力成为新挑战:万卡集群训练任务盲启动,失败频发、训练过程故障频发,大模型基础设施可用度低、故障种类多、复杂系统运维难度大。
3. 大模型基础设施关键技术:
高效算力管理调度技术:虚拟化、容器化、池化技术、异构并行技术、基于预测模型的算力调度体系。
高性能大模型存储技术:KV-cache 技术、加速卡直通存储、并行文件系统、近数据向量知识库、数据编织技术。
高通量大规模网络技术:高性能互联技术、网络负载均衡技术、参数面、存储面/样本面、业务面、带外管理面网络互联。
高效能大模型开发技术:训练加速技术、大模型微调技术、模型压缩技术、大模型推理引擎。
高容错大模型运维技术:训前健康检查、全栈全路径统一监控分析、断点续训、智能运维。
4. 高质量大模型基础设施评价指标:
指标体系:从技术能力和性能层面,聚焦计算、存储、网络、开发工具链及运维等维度建立评价指标。
指标定义:包含技术能力指标和量化的性能指标,例如可用度、平均无故障时间、计算规模、存储容量、网络吞吐率、推理时延等。
5. 高质量大模型基础设施典型实践:
Meta 大模型基础设施实践:优化任务调度、采用RoCE 和IB 组网、采用分布式存储解决方案、利用MAIProf 识别性能瓶颈并进行优化。
蚂蚁集团大模型基础设施实践:全局编排调度、智算混部、建立基于算力经济模型的算力调度体系、利用KV-cache 技术解决大模型推理显存容量瓶颈与访存密集问题、采用分布式训练加速技术、基于DLRover 实现分布式训练容错、基于蚂蚁自研的无痛升级技术。
某科技公司大模型基础设施实践:自研异构算力调度的大模型训练平台、对存储进行系统级优化、研发智能拓扑感知、动态负载均衡调度的故障感知与自愈方法、基于多系统协同优化技术。
6. 总结与展望:
推理侧大模型基础设施新发展:从应用需求、技术发展趋势和发展需求角度看,推理侧的性能优化成为关键。
绿色低碳将进一步成为大模型基础设施发展重点:从产业需求角度和政策推动角度看,可持续发展策略带来绿色低碳强需求。
7. 高质量大模型基础设施规划建议:
计算规划:计算规模、GPU 卡数。
AI 存储规划:存储性能、存储规模。
高速网络规划:参数面网络、样本面网络、业务面网络、管理面网络。
开发软件规划:训练微调平台、大模型推理平台。
运维规划:运维平台。






















