美国行业协会深度报告:AI数据中心的半导体生态全景
2026年6月，美国半导体行业协会（SIA）联合德勤发布了一份题为《Powering AI: The Semiconductor Ecosystem at the Foundation of Data Centers》的研究报告。这份报告没有停留在市场规模或系统性能的层面，而是把一台AI服务器机架"打开"，逐一清点里面的半导体器件——从最昂贵的AI加速器，到单价不到十美元的电源管理芯片。- 一个AI服务器机架包含超过4,500颗封装芯片，约20,000颗独立裸片（dies）；
- 一座领先的AI数据中心按10,000个机架计算，容纳的芯片数量超过4,500万颗；
- 半导体器件占AI服务器机架内容价值的95%以上，占AI数据中心总资本支出的50%以上；
- 2023至2030年间，全球AI数据中心累计投资预计达4.0万亿美元，其中高达2.8万亿用于半导体及其他硬件。
从产业角度看，几个判断值得关注：
价值高度集中：AI加速器占机架半导体价值的74%，逻辑芯片整体占65%，先进制程产能几乎全部服务于计算托盘；
但依赖是全谱系的：52%的芯片单价低于10美元，成熟节点芯片在电源、散热、管理等托盘中不可替代；
推理将主导需求：训练需求增速放缓，推理需求CAGR高达122%，到2032年推理将占总计算需求的80%；
供应链高度全球化且各环节地理集中：设计在美国/韩国，晶圆制造在台湾/韩国，封装在东南亚和东亚，板卡组装和系统集成在中国/越南/马来西亚，没有任何一个国家或地区可以独立完成全流程。
本文按照报告的章节脉络，梳理AI数据中心从芯片到机架的硬件构成、市场规模、价值分布与供应链格局。正文约8000字，21图，预计阅读时间 30分钟，建议关注收藏后慢慢阅读！
- 1950s–80s，大型机与早期CPU。 AI最早运行在大型机上，计算昂贵、缓慢且功耗高，AI研究主要局限于学术和国防实验室。
- 1990s–2000s，CPU崛起与集群计算。 微处理器性能提升、内存成本下降，HPC集群开始支撑大规模训练，但CPU仍是主导处理器，AI应用范围有限。
- 2010s，GPU革命与深度学习。 2012年AlexNet在GPU上训练成功，标志着GPU大规模并行计算进入AI领域，CPU在训练负载中的主导地位被GPU迅速取代。
- 2010s后期，专用AI加速器。 Google TPU、Amazon Inferentia等专用ASIC出现，FPGA也在推理场景获得应用，能效和延迟成为关键设计指标。
- 2023年至今，规模AI基础设施。 基础模型和生成式AI推动硬件走向前所未有的复杂度：数万颗AI加速器通过光互连组成集群，HBM、2.5D/3D封装、chiplet、液冷成为数据中心架构的标准配置。瓶颈从纯计算转向散热、存储带宽和互连速度。
报告同时指出，半导体与AI之间存在一个自我强化的创新循环：半导体进步使AI能力提升，AI生态的扩展又反过来要求更强的半导体技术。在进入机架层面之前，报告先建立了一套半导体分类体系。AI服务器机架依赖多种半导体技术协同工作，每种芯片针对AI工作负载的不同需求而设计。从大类看，半导体分为数字、模拟和分立器件三大类。数字芯片进一步分为：- 逻辑芯片（Logic）：处理数据，是AI和云计算的算力来源，包括串行处理器（CPU）和并行加速器（GPU、AI加速器ASIC、FPGA）；
- 存储芯片（Memory/Storage）：存储和处理训练与推理数据，包括DRAM、HBM、NAND和SRAM；
- 信号与接口芯片（Signal & Interface）：管理信号转换，包括ADC/DAC、时钟缓冲器、振荡器；
- 电源管理芯片（Power）：调节电压和系统运行，包括电源管理IC和电压调节器；
- 光电子器件（Optoelectronics）：实现电信号与光信号转换，用于光通信；
- 传感器与换能器（Sensors & Transducers）：检测环境参数。
报告特别说明几点：信号类芯片中有些包含混合信号（即兼具模拟和数字属性）；示例并非穷尽列举，多裸片封装可能包含不同分类的元件；网络芯片在本报告中归入逻辑类；分立器件虽包含数字和模拟两类，但纯数字分立器件已过时且罕见，因为数字逻辑通常集成到IC中以提高效率。- Die（裸片）：半导体层级中最小的功能单元，一片含晶体管的硅片，执行逻辑、存储或I/O功能；
- Chip（芯片）：封装后的半导体器件，集成一颗或多颗裸片，提供电气连接、散热和机械保护；
- Board（板卡）：印刷电路板（PCB），承载芯片、无源器件、存储和连接器；
- Tray（托盘）：由一块或多块板卡组成的模块化组件，面向特定功能设计，支持热插拔；
- Rack（机架）：完整的服务器机柜，容纳多个托盘及共享的电源、网络和散热基础设施。
报告将一个AI服务器机架的硬件按功能划分为五类托盘（tray）。这是报告的核心内容。计算托盘是AI服务器机架中价值最高、芯片最密集的部分，承载主要的AI处理逻辑。每个计算托盘通常包含一块或多块计算板卡、NVMe SSD、NIC、DPU和PDU。一块典型的计算板卡上有1–2颗AI加速器、1–2颗CPU、8–32根DIMM、50–100个以上电压调节模块（VRM），以及十余颗控制和支持IC。A. AI加速器：执行AI模型的核心计算，单价约$10,000–$40,000。GPU是目前市场上应用最广泛的AI训练和高性能推理平台，其架构允许大规模并行处理。一颗AI加速器内部包含逻辑计算裸片、互连PHY接口、HBM存储堆叠（每堆叠最多16个裸片，6–12堆叠即96–192个HBM裸片），以及连接各组件的interposer或bridge裸片。B. 高带宽存储（HBM）：以2.5D封装与AI加速器共置，提供超高带宽的片上存储，单价约$30–50/GB。按每机架14TB计算，HBM成本约$400,000–$600,000（已包含在AI加速器价格中）。AI加速器依赖先进封装技术，如2.5D集成和新兴的3D方案。与传统封装（单颗裸片装入封装）不同，先进封装将多颗裸片和存储紧密集成，最大化带宽、降低延迟、提升能效。C. 中央处理器（CPU）：服务器的控制中心，管理内存访问、系统启动/关闭，并处理轻量级AI推理任务，单价约$7,500–$15,000。D. 系统内存（RAM）：提供高速临时存储，作为CPU和加速器的数据缓冲层，单价约$7–$8/GB。按每机架17–24TB计算，成本约$135,000–$190,000。一根DRAM DIMM上除DRAM裸片外，还包含寄存时钟驱动器（RCD）、电源管理IC（PMIC）、串行存在检测EEPROM（SPD）和温度传感器。E. 非易失性存储（SSD）：通过PCIe为加速器和CPU提供大规模数据集和模型的快速访问，单价约$0.20/GB。按每机架200TB计算，成本约$40,000。F. 数据处理单元（DPU）：专用数据路径控制器，从CPU卸载网络、存储访问、加密和遥测任务，单价约$1,000–$3,500。G. 网络接口卡（NIC）：管理硬件与软件系统之间的数据流，单价约$7,500–$15,000。H. 电源分配单元（PDU）：将机架级母线电压降压、调节并分配到各芯片，单价约$1,000–$2,000。值得一提的是VRM和无源器件——电容、电感、电阻等。VRM本身不是单颗芯片，而是一个小型电源子系统，由多相控制器驱动MOSFET功率级，再搭配电感和电容。每块加速器板上可以有数十个VRM和数百个无源器件，整个机架中这些组件数量达数千个。它们单价低廉、大量商品化，但在AI工作负载极端且快速变化的用电需求下，对维持稳定高效的供电不可或缺。在清点完计算托盘的各类芯片后，报告给出了一张按功能和材料划分的芯片数量分布图（原PDF未编号，按序应为Figure 9）：这张图显示，电源类芯片在数量上最多（约1,900颗），其中GaN/SiC占相当比例；存储类芯片约1,550颗，几乎全部为硅基。GaN、SiC、砷化镓（GaAs）和磷化铟（InP）等化合物半导体具有宽禁带、高电子迁移率和优异导热性，使器件能在更高电压、频率和温度下工作。这一材料层面的分布，为理解后续电源托盘的设计提供了背景。互连托盘建立统一的高性能计算网络（fabric），使机架内数十颗AI加速器能够作为单一逻辑单元协同工作。该托盘包含高带宽交换ASIC、SerDes收发器、有源铜缆（ACC）信号调理IC、电源分配模块和时钟发生器/PLL，实现加速器之间的存储共享、计算同步和大规模模型并行。每机架配置4–9个，每个托盘1U高度，价值约$10,000–$50,000。电源托盘是AI服务器机架的电气基础，负责将输入电力转换、调节并分配到全机架各组件。电源托盘中的关键半导体器件包括：整流桥（将交流电转换为直流电）、功率因数校正（PFC）控制器IC、电源管理IC，以及功率晶体管（多为GaN基）。每机架配置2–4个，每个1U–2U高度，价值约$50,000–$290,000。报告指出，当前机架级供电为48V DC，未来可能向400V DC甚至800V HVDC演进，以应对单机架功率从当前100–120kW向1MW（1000kW）的跃升。前文图9已显示，电源芯片是化合物半导体（GaN、SiC等）应用最集中的领域；随着机架功率向1MW迈进，这些宽禁带材料在电源管理中的重要性将持续上升。网络与智能平台管理接口（IPMI）托盘提供安全、可扩展的控制和连接基础设施。- 基板管理控制器（BMC）：支持远程电源循环、硬件健康监控和系统配置；
- 带外（OOB）交换机和带内（IB）交换机：分别用于管理流量和数据流量；
每机架配置1–2个，价值约$17,000–$25,000。随着AI加速器和CPU热负荷显著增加，风冷已不足以应对，CDU托盘通过闭环液冷系统管理机架级散热。CDU中的半导体器件驱动泵、传感器、电路控制阀和电源。CDU控制器板卡通过嵌入式逻辑芯片管理流速、监测压力和温度、调节泵速和阀门位置。每机架配置1–2个，价值约$15,000–$30,000。报告预测，到2035年风冷占比将降至约65%，液冷升至约30%，两相制冷剂冷却约占5%。报告以AI训练为例，展示了不同芯片在数据路径中的分工与配合。- 数据摄取：DPU管理Web规模数据的进入，数据通过以太网写入NVMe SSD；
- 持久存储：NVMe SSD存储训练数据集、中间检查点和推理就绪模型；
- 数据预处理与传输：DPU在线速下对数据进行解析和格式化，通过PCIe直接传递给计算单元，最小化CPU负载；
- 加速并行计算：AI加速器集群执行大规模并行计算，HBM管理分布式节点间的模型权重和激活值；
- CPU编排：CPU管理训练工作流，处理控制流逻辑、同步和任务分配；
- 模型组装与推理部署：训练完成后，CPU聚合输出、完成模型组装，准备部署。
报告提到，GPUDirect等技术允许存储直接访问AI加速器内存，完全绕过CPU，进一步降低延迟。SmartNIC集成的DPU可同时支持存储卸载、网络加速和协议处理。报告对AI数据中心半导体市场的规模和增速做了详细预测。- AI数据中心半导体年收入从2022年的约270亿美元增长到2024年的约450亿美元，2025年预计达1,230亿美元；
- 2026年预测为3,200亿美元，2028年在乐观情景（35%年增长）下超过1.2万亿美元，保守情景（15%年增长）下约8,860亿美元；
- 2022–2028年复合年增长率（CAGR）为88.8%，2025–2028年CAGR为56.3%；
- 数据中心逻辑芯片（主要是AI加速器）市场从2022年约300亿美元增长到2024年700亿美元，WSTS预测2026年达1,900亿美元。
关于训练与推理的关系，报告引用BCG的估计：2023–2028年间训练需求CAGR约30%，推理需求CAGR约122%。推理占总AI计算需求的比例将从2024年的约20%增长到2032年的约80%。McKinsey预测，到2030年整个半导体行业年收入将达1.6万亿美元，主要由AI和数据中心驱动。生成式AI可能贡献行业增长的40%以上。HBM市场预计2025年达210亿美元。报告对AI服务器机架中的半导体内容价值做了定量分析（CVA，Content Value Analysis）。总体而言，逻辑芯片占机架半导体价值的65%，存储芯片占20%以上。AI加速器单一项就占据了超过70%的半导体内容价值。- 计算托盘占95%的内容价值、近90%的裸片数量、80%以上的芯片数量；
- 先进制程节点（<10nm）的裸片几乎全部集中在计算托盘（占49%），其他托盘主要依赖当前节点（10–28nm）和成熟节点（≥28nm）；
- 加速器互连托盘94%为当前节点，电源托盘83%为成熟节点，CDU托盘100%为成熟节点。
- 仅3%的芯片单价超过1,000美元，但正是这3%的高价值芯片驱动了服务器的大部分内容价值。
报告指出，这种"少数高价值先进逻辑芯片"与"大量低成本但任务关键型基础芯片"并存的格局，既揭示了AI基础设施的价值集中点，也暴露了供应链中的脆弱环节——任何一颗廉价但不可替代的芯片短缺，都可能导致整台服务器无法交付。报告梳理了半导体从设计到部署的完整供应链流程及其地理分布。- 晶圆测试与切割：台湾、韩国、马来西亚、越南、菲律宾、美国；
- 先进封装（用于AI加速器、HBM等高性能芯片）：台湾、韩国、马来西亚、美国；
- 传统封装（用于NAND、DRAM、旧款CPU等）：台湾、中国大陆、韩国、马来西亚、越南、菲律宾。
报告强调，制造设备和原材料（尤其是晶圆制造环节所用）是整个流程中最具战略关键性的投入。- 边缘AI的兴起。 到2025年，超过50%的数据预计由边缘设备产生。推理需求正从集中式数据中心向云、边缘、端侧混合架构转移。边缘部署倾向于低功耗、低成本的嵌入式SoC、NPU和微型加速器，这可能维持对当前节点和成熟节点芯片、传感器和连接硅片的需求。
- 架构与封装转型。 Chiplet、2.5D/3D封装、共封装光学（CPO）正在改变芯片设计方式。共封装光学将光互连与计算裸片置于同一封装内，显著降低功耗和延迟。
- 制程继续演进。 FinFET向纳米片FET（GAA）过渡，3nm节点推进中，High-NA EUV光刻设备开始部署。
- 存储层级革新。 HBM持续迭代，新的存储层级和接口技术（如CXL）正在出现，以缓解数据移动瓶颈。
- 能效成为核心约束。 报告指出，一座使用更高效芯片的10MW数据中心，其算力可能相当于旧一代芯片的50MW数据中心。未来加速器单裸片功率预计超过5,000W，封装面积约9,000–10,000mm²，裸片面积约4,000–5,000mm²。
这份SIA报告的价值在于，它把公众讨论中常被简化为"GPU"的AI硬件，还原为一个由数千颗不同类型芯片构成的复杂生态。AI加速器固然占据了绝大部分价值和注意力，但电源管理、信号转换、温度传感、时钟驱动等单价不到十美元的基础芯片同样不可或缺。- 价值高度集中：AI加速器占机架半导体价值的74%，逻辑芯片整体占65%，先进制程产能几乎全部服务于计算托盘；
- 但依赖是全谱系的：52%的芯片单价低于10美元，成熟节点芯片在电源、散热、管理等托盘中不可替代；
- 推理将主导需求：训练需求增速放缓，推理需求CAGR高达122%，到2032年推理将占总计算需求的80%；
- 供应链高度全球化且各环节地理集中：设计在美国/韩国，晶圆制造在台湾/韩国，封装在东南亚和东亚，板卡组装和系统集成在中国/越南/马来西亚，没有任何一个国家或地区可以独立完成全流程。
对于关注AI基础设施的研究者和从业者而言，这份报告提供了一个从硅片到机架的系统视角，有助于理解当前半导体产业链各环节在AI时代的相对位置。 
