美光发布全球首款256GB SOCAMM2模组，代理式AI算力瓶颈被打破

存储器大厂美光（Micron）正式推出全球首款256GB SOCAMM2存储器模组，容量较上一代大幅提升，主打高效低耗，精准适配快速升温的代理式AI需求，或将重塑AI服务器存储器市场格局。

随着人工智能应用层持续扩展，推论与长上下文运算规模快速放大，存储器瓶颈问题日益凸显，包括HBM在内的AI专用存储器技术也成为DRAM厂商的研发重点。在此背景下，存储器大厂美光（Micron）率先发力，宣布推出新一代SOCAMM2存储器模组，单模组容量直接提升至256GB，成为全球首款达到该容量规格的SOCAMM2产品，主打更高效能与更低功耗，精准锁定快速升温的代理式AI（Agentic AI）应用浪潮。

据美光介绍，这款256GB SOCAMM2模组相较上一代192GB容量有显著提升，将为AI基础设施建立新的性能基准，未来将集成至新一代AI服务器与运算设备中，有效缓解AI工作负载的存储器限制。在架构设计上，美光将LPDRAM单一芯片容量提升至32GB，若搭配8通道CPU架构，可提供最高2TB LPDRAM容量，能让AI服务器更顺畅地处理长上下文推论任务。
值得一提的是，采用这款SOCAMM2模组后，长上下文推论的TTFT（Time-to-First-Token）速度可提升2.3倍，能有效降低延迟、提升推论效率，尤其适配代理式AI工作负载——这类应用往往需要CPU主导的独立运算能力，而当前代理式AI的快速发展已让CPU成为算力瓶颈之一，大容量、高效率的存储器模组成为刚需。
这款SOCAMM2存储器模组也是美光与英伟达合作开发的产品之一，此前已有消息显示，英伟达新一代AI基础设施平台Vera Rubin将成为首批采用SOCAMM2标准的系统。要知道，英伟达此前已取消第一代SOCAMM的推广，将重心全面转向SOCAMM2，其GB300 NVL72规格表也明确支持最高18TB基于LPDDR5X的SOCAMM，带宽可达14.3TB/s，足见双方合作的深度与SOCAMM2的市场价值。
在AI计算领域，存储器容量与延迟已成为关键竞争资产，美光也坦言，SOCAMM2的量产可能会占用大量DRAM产能，甚至可能压缩部分GDDR7等通用型存储器的供应。目前，256GB SOCAMM2模组样品已出货给客户，预计将在GTC 2026大会上正式展示，届时或将进一步披露更多技术细节与商业化进展。