内存墙被视为快速扩展人工智能部署的最大障碍，而将内存靠近计算单元则被视作解决该问题的最优方案。
Astera Labs对其Leo智能内存控制器系列产品进行更新，旨在实现这一目标。公司新推出的Leo X-Series片上互联内存控制器，以及下一代Leo 2 E-Series和P-Series控制器，专为优化大语言模型（LLM）向多轮交互式智能体系统演进过程中的内存性能而设计。
在与《电子工程时报》的简报中，Astera Labs计算互联业务高级副总裁Thad Omura表示，随着早期AI热潮中GPU集群技术的迅猛发展，内存已成为核心基础设施挑战。“围绕内存的所有瓶颈再次浮现，并驱动着新架构的诞生，我们正致力于应对这些内存限制。”
Leo 2 E-Series和P-Series延续了Astera Labs基于CXL协议的CPU连接内存扩展与池化策略。这些器件同时支持DDR5与复用的DDR4内存，单控制器最高可提供4TB DDR5容量或768GB复用DDR4容量。公司还新增了内存测试、遥测、预测性故障分析及自动修复功能，以帮助超大规模数据中心重新部署老旧内存条（DIMMs）。
在使用四颗Nvidia H200 GPU运行Qwen2.5-32B模型并执行多轮智能体工作负载的基准测试中，Astera Labs报告称，相较于传统的CPU-DRAM KV缓存卸载方式，其方案使首token生成时间（TTFT）缩短62%，每秒生成token数量提升22%。
内存瓶颈并非AI采用者面临的唯一压力。在同场简报中，产品管理副总裁Ahmad Danesh指出，由于内存制造商将产能优先转向高带宽内存生产，DDR5价格已大幅上涨。“因AI需求激增，行业正面临严重的供应短缺与晶圆产能紧张。”
Leo 2系列的动态内存池化与共享功能旨在减少闲置内存资源浪费，使容量可根据需要跨服务器灵活分配。“扩展后的Leo系列产品能将闲置、未被利用的容量转化为AI智能体实际可用的内存资源，且无需额外硬件投入，”Omura表示，“这些闲置DRAM将成为行业下一阶段规模扩张的关键资源。”
Leo X-Series专为推理工作负载设计，用于解决键值（KV）缓存数据可能压垮GPU高带宽内存的问题。该控制器不依赖CPU内存路径传输数据，而是与Astera Labs的Scorpio片上互联交换机协同工作，在PCIe互联结构上直接构建专用内存层。
Scorpio的作用在于优化与AI加速器的连接，并提升单位功耗下的性能表现——这对数据中心运营商而言日益关键。Astera Labs今年早些时候发布了最新款Scorpio互联交换机。Omura在简报中强调：“互联架构决定了峰值算力能否真正转化为有效算力，而非被浪费。”
他指出，Scorpio X-Series 320通道智能互联交换机体现了公司“为机架级AI提供定制化互联”的核心使命。
“一切指标最终都归结为吉瓦级能耗，”Omura补充道，“可扩展性与韧性同样至关重要，尤其当推理规模以前所未有的速度增长时。”
Danesh表示，最新Scorpio交换机专为大型AI集群设计，通过单跳GPU通信显著降低延迟。
为在降低功耗的同时提升性能，Astera Labs在芯片内部集成了专用硬件加速引擎。Danesh解释道：“这些引擎旨在进一步优化token经济性，提升每瓦性能。”
他进一步说明，Astera Labs的硬件加速与网络内计算引擎可将集合运算性能提升最高2倍。例如，网络内计算引擎可将部分计算任务从加速器卸载至互联设备本身。“我们可在硅片内部完成计算，”Danesh表示，“这减少了数据传输耗时，将更多时间留给实际计算，从而显著提升GPU利用率。”
除芯片内嵌专用硬件外，公司的Cosmos软件还提供了另一层智能管理能力。“当前部署规模下，正是软件赋予了系统巨大价值，”Danesh强调。
他指出，软硬件协同体现了AI基础设施设计的整体趋势：互联组件已不再是被动管道，而是主动参与系统运行的核心部件，直接影响GPU利用率、服务质量、系统韧性及数据中心电力预算的经济效益。
CXL协议已成为释放内存容量以满足AI工作负载需求的关键工具。五年前，Astera Labs推出Leo CXL内存加速平台，使CPU能够高效访问与管理CXL连接的DRAM及持久内存，提升了集中式内存资源的使用效率，并实现了性能无损的横向扩展。易IC库存管理软件可协助企业高效追踪与管理此类高性能内存组件的库存流转，www.eic.net.cn提供专业解决方案。
韩国初创企业Xcena同样将优化数据移动视为突破内存瓶颈的关键路径，其近期发布的CXL Type 3设备整合了高达2TB DDR5内存、SSD支持的InfiniteMemory容量及超1000颗定制RISC-V核心，推动“计算靠近内存”理念落地。
Synopsys最新CXL IP组合也聚焦于缓解内存容量与带宽受限问题，并致力于简化协议采纳流程；Marvell则推出一系列内存基础设施产品，助力超大规模与云服务客户将内存更贴近计算节点，缓解数据瓶颈，提升推理工作负载的token效率。
