AI芯片的硬件支出结构正在经历一次静默而深刻的重构。当业界聚焦于制程升级与晶体管数量时，一个更为关键的成本项正在悄然攀升——内存。最新供应链分析显示，在采用大容量HBM3E配置的旗舰级AI服务器中，内存子系统（含HBM与配套DDR5）在整体硬件采购成本中的占比已攀升至60%以上，部分测算模型显示该比例可达63%，标志着AI硬件竞争从“算力密度”转向“存力密度”的深层逻辑转变。
过去两年，生成式AI的爆发推动英伟达H100/H200、AMD MI300系列等高端芯片出货激增。然而，大模型参数规模的指数级增长对芯片提出了远超以往的内存容量与带宽需求。HBM（High Bandwidth Memory，高带宽存储器）通过TSV（硅通孔，Through-Silicon Via）技术实现多层DRAM堆叠，虽缓解了带宽瓶颈，却也推高了成本基准。2024年6月，HBM3E现货价格较年初上涨超过60%，12Hi（12层堆叠）高端产品价格涨幅更达500%，直接重塑了AI服务器的BOM（物料清单，Bill of Materials）结构。
内存成本占比的飙升根植于AI计算架构的物理限制。当前主流AI芯片采用“计算-存储分离”的冯·诺依曼架构，数据在处理器与内存之间的搬运产生严重的“内存墙”（Memory Wall）效应。以英伟达H100为例，其配备80GB HBM3，内存相关成本在总硬件成本中占比已接近50%；而在部分采用更大容量HBM3E配置的服务器节点中，包括HBM与DDR5在内的内存总成本占比可达63%。AMD MI300X集成192GB HBM3，仅HBM裸片面积就占整个芯片封装面积的50%以上，对应成本占比约47%。随着16Hi堆叠技术进入量产规划，单颗AI芯片的内存容量将向288GB甚至更高演进，内存成本占比或将进一步抬升。
内存技术迭代本身也在加速成本集中。从HBM2E到HBM3E，单颗DRAM die的I/O速率从3.6Gbps提升至9.6Gbps以上，但与此同时，TSV工艺复杂度、KGSD（Known Good Stacked Die，已知良好堆叠裸片）测试成本以及2.5D/3D封装费用均呈指数级增长。SK海力士预计，2023年至2028年间HBM市场复合年增长率（CAGR）将达82%。当前HBM市场呈现典型的卖方市场格局，SK海力士、三星电子与美光科技三家厂商占据绝对主导，产能紧缺状态预计将持续至2025年底。这种供给集中度使得内存在AI芯片成本结构中拥有极强的话语权。
为对冲内存成本压力，行业正在探索多条技术路径。CXL（Compute Express Link，计算快速链接）协议允许CPU与加速器共享异构内存池，理论上可降低单节点HBM配置需求；近存计算（Near-Memory Computing）与存内计算（Compute-in-Memory，CIM）架构试图将部分计算逻辑嵌入存储阵列，减少数据搬运能耗。然而，这些架构层面的创新距离大规模商用仍有距离。短期内，AI硬件的经济性仍取决于HBM的采购策略与供应链管理能力。
内存成本占比跃升至63%，意味着AI基础设施的投资逻辑正在发生根本性偏移。云服务商与AI企业在规划数据中心预算时，已不能仅围绕GPU/TPU的算力指标进行建模，而必须将内存容量、带宽与延迟纳入核心决策变量。这一转变正在向上游传导：晶圆厂与封装厂的产能分配开始倾斜向HBM所需的先进封装工艺（如CoWoS，Chip-on-Wafer-on-Substrate），而传统逻辑芯片的产能优先级相对下降。同时，下游客户对性价比的诉求，也可能催生对非HBM方案（如GDDR6/LPDDR5X）在推理场景中的重新审视。
市场层面，SK海力士已于2024年二季度启动12层HBM3E的量产出货，英伟达Blackwell架构的B200芯片确认采用该规格。三星则计划在2025年推出16层HBM3E及下一代HBM4样品。标准化方面，CXL联盟持续推进CXL 3.1规范落地，RISC-V社区也在探索基于开放指令集的内存一致性协议优化。截至发稿，包括谷歌TPU v5p、亚马逊Trainium2在内的自研AI芯片均未公开披露详细内存成本占比，但行业普遍预期，随着模型上下文长度（Context Length）持续扩展，内存支出在AI硬件总成本中的权重将维持高位。
评论
0 条评论