国金证券-计算机行业研究深度报告
智物发展｜简介
AIOT Development
Introduction
上海洲铂智能科技发展有限公司（智物发展｜AIOT Development）是基于大数据的产业服务平台。平台围绕区域经济发展需求提供一站式服务，拥有全球合作资源优势，聚焦“创新创业、产城融合”，通过开展区域产业研究与规划、高层次人才引进、产业导入、科创中心建设运营、总部经济和企业服务等业务，致力于打造“人、产业、城市”三位一体、高度融合的全新生态体系。
1.1 技术革命意味着什么？ ——新一代生产力工具（AGI）问世推动主体能源（算力）需求快速上行通用人工智能技术有望启动第四次工业革命，算力为主体能源工业革命的本质是以新一代生产力工具的大范围应用为核心，以主体能源为基础动力的全局性经济范式转型。历史上共发生过三次工业革命，我们认为，本轮通用型人工智能发展浪潮有望启动第四次工业革命： 1. 第一次技术革命：生产力工具：蒸汽机；主体能源类型：煤炭。 2. 第二次技术革命：生产力工具：内燃机；主体能源类型：石油。
3. 第三次技术革命：生产力工具：计算机；主体能源类型：电力。
4. 第四次技术革命：生产力工具：通用人工智能；主体能源类型：算力。
历次技术革命的主体能源需求量受益于生产力解放快速上行历史上历次技术革命所涉及的主体能源都会随新一代生产力工具广泛应用而呈现能源需求持续上行的阶段，以煤炭和石油两种一次化石能源为例说明：以瓦特蒸汽机的大范围应用为代表的第二次技术革命最早在英国展开，后续逐渐扩散至欧洲大陆和美国。1860年起，英国煤炭消耗量上行约一个世纪，达峰之后逐渐回落，1860~1920年英国煤炭消耗量的快速爬升主要受益于蒸汽机在铁路运输、纺织、制造、采矿等各行业的广泛应用（1882年以后同时受益于煤电厂的兴建）。 以内燃机的大范围应用为代表的第三次技术革命最早在美国和德国展开，后续逐渐扩散至欧陆各国。1920年起，美国原油生产量持续保持高速爬升，1970s，美国国内石油开采量放缓，对海外原油进口飙升，国内石油需求持续增长。
1.2 AI 算力需求有望在模型规模、算法创新、海量数据、应用落地等多端推动下高增1.2.1 AI 三要素： 算法是车间工艺，算力是能源动力，数据是生产资料1. 算法：算法是AI的车间工艺，它定义了如何处理和解释数据。随着深度学习等先进技术的兴起，算法变得越来越复杂，对计算资源的需求也随之增加。2. 算力：算力是AI的能源动力，是执行算法所需的硬件资源。它包括CPU、GPU、TPU等处理器。算力的提升直接关系到AI模型训练的速度和效率，是实现模型快速迭代和优化的关键。3. 数据：数据是AI的生产资料，高质量的数据集对于训练出准确可靠的AI模型至关重要。数据的收集、处理和分析是AI项目成功的关键环节。1.2.2 算力需求跃迁：AI 模型训练所需 FLOPs 增速超过摩尔定律，引发算力需求高增2010年以前（前深度学习时代）：2010 年以前，AI模型训练所需FLOPs（Floating Point Operations Per Second，衡量计算性能的指标，特别是在深度学习和神经网络领域中，用来描述硬件设备在单位时间内能够完成的浮点运算次数。是评估深度学习模型的计算复杂度和硬件性能的重要指标）始终保持稳定（指数级）线性增长。这一阶段 AI 模型训练所需FLOPs增长与摩尔定律保持一致，大约每 20 个月翻一倍，算力需求从3×104 FLOPs 增长到2×1014 FLOPs。2010~2015年（深度学习时代）：2010年起，AI深度学习模型训练所需FLOPs相对前深度学习时代出现斜率突变。自从深度学习在2010年代初兴起以来，训练计算的规模加速增长，大约每6个月翻倍，远超摩尔定律每20个月翻一倍的算力供给。到2015年底，随着大型机器学习模型的开发，训练计算的需求增长了10到100倍，算力需求总规模达到4×1021 FLOPs。2016年至今（大模型时代）：2016年起，AI大模型训练所需FLOPs出现断点跳跃。2017 年，《AttentionIs All You Need》发表，Transformer 模型问世。Transformer架构的出现使得模型能够处理更长的序列和更复杂的任务（2017 年之后陆续诞生众多千亿参数模型），但同时也需要更多的计算资源，算法上的创新推动了对更高计算能力的需求。同时，尽管存在如分布式训练和混合精度训练等提高训练效率的技术，但这些技术的应用往往需要更多的硬件资源。为了实现大规模并行处理，需要大量的GPU或TPU资源，这进一步加剧了对算力的非线性需求，2022年训练大模型的算力需求达到了8×1023FLOPs。1.2.3 算力分类： 训练算力+推理算力，算力体系逐步完善训练算力：指在训练机器学习模型时所需的计算资源。训练过程涉及将模型与训练数据进行多次迭代，调整模型参数以最小化损失函数（损失函数是衡量模型预测值与实际值之间差异的函数，反映模型性能）。所需训练算力的大小与模型复杂度、数据集大小和迭代次数有关。 1. 越复杂的模型通常需要越多的训练算力，因为它们有更多的参数需要进行调整； 2. 使用更大型数据集进行训练通常需要更多计算资源，因为需要处理更多的数据量； 3. 较大的模型或更复杂的任务可能需要更多的迭代次数才能达到收敛，这会增加训练时间和计算资源的需求。推理算力：指执行已经训练好的模型进行预测或推理时所需的计算资源。在推理阶段，模型不再更新参数，而是用来对新数据进行预测。这时，算力的需求与模型大小、批处理大小（Batch Size，是指在深度学习中每次输入的数据集大小）、硬件配置有密切联系。 1. 越大的模型通常需要越多的推理算力来执行预测，因为它们具有更多的参数需要进行计算； 2. 推理时的批处理大小也会影响算力需求，较大的批处理大小可能需要更多的内存和计算资源来处理； 3. GPU、TPU 等硬件的类型和数量会影响推理的速度和效率，更强大的硬件通常可以更快地执行推理任务。训练芯片：用于构建神经网络模型，需要高算力和一定的通用性。推理芯片：利用神经网络模型进行推理预测，注重综合指标， 单位能耗算力、时延、成本等。1.2.4 算力规模：训练/推理对AI芯片提出不同要求，推理端算力需求有望远超训练端据IDC，2023上半年国内训练工作负载的服务器占比达到49.4%，预计全年的占比将达到58.7%。随着训练模型的完善与成熟，模型和应用产品逐步进入投产模式，处理推理工作负载的人工智能服务器占比将随之攀升，到2027年，国内用于推理的工作负载预计将达到72.6%。AI大模型在训练端和推理端都将产生巨量的算力需求：训练端算力需求的测算：从模型的参数规模入手，根据训练大模型所需的Token数量和每Token训练成本与模型参数量的关系分别估算总算力需求，再考虑单张GPU算力和GPU集群的算力利用率推导得出GPU总需求。其中，参考OpenAI发布的论文《Scaling Laws for Neutal Language Models》中的分析，每个Token的训练成本通常约为6N，其中N是LLM的参数数量。以GPT-3为例，根据《Training Compute-Optimal Language Models》，GPT3的参数量为1,750 亿，训练Tokens为3,000 亿，该模型训练算力总需求为6×1,750 亿×3,000 亿=3.15×1023FLOPs，对应图表10公式（1）。假如目前要同时3 个GPT-3 大模型，且需要在一周以内训练完成，则训练端峰值算力需求为3.15×1023 FLOPs×2/（7×24×3600）=1.04×1018，对应图表10公式（2）。推理端算力需求的测算：根据大模型日活用户人数、每人平均查询 Token数量、每Token推理成本与模型参数量的关系估算推理端总算力需求，同时考虑最大并发峰值的算力乘数为高并发提供冗余。其中，参考OpenAI发布的论文《Scaling Laws for Neural Language Models》中的分析，每个Token的推理成本通常约为2N，其中N是LLM的参数数量。以ChatGPT为例，据 SimilarWeb ，2024年2月ChatGPT总访问次数约为16.3 亿次，平均每天访问次数为0.56 亿次，假设每次访问查询token 数为1000个（对应750个单词），假设目前ChatGPT的参数规模为2,000亿，则全天计算次数合计为2×2000亿×1,000×0.56亿=2.24×1022次，对应图表11公式（1）。平均每秒所需峰值算力为2.24×1022 /（24×60×60）=2.60×1017FLOPs，对应图表11 公式（2）。假设最大并发峰值算力乘数取5，则最大并发峰值算力为2.60×1017FLOPs×5=1.3×1018FLOPs，对应图表11公式（3）。【完整研报免费获取】：关注公众号，发送关键词020202，即可获取！
