易IC电子行业销售管理系统 - 易IC电子行业库存管理软件
首页 / 行业新闻 / 正文

SambaNova与英特尔合作开发解耦推理方案

2026-04-14   电子工程专辑
阅读时间约 3 分钟
作为此前已宣布协议的一部分,SambaNova正与英特尔合作,共同构建面向智能体AI系统的解耦推理解决方案。该方案将整合SambaNova的RDUs机架、英特尔Xeon 6 CPU机架,以及数据中心现有GPU机架,实现高效协同。
智能体系统在需要高交互性的应用场景中亟需解耦推理能力,例如代码生成,以及大量当前已在英特尔Xeon CPU上运行、未来将依赖智能体AI的应用。SambaNova首席执行官罗德里戈·梁(Rodrigo Liang)向《电子工程专辑》表示,随着模型规模持续扩大,对实时交互的需求将日益增长,快速推理能力也将持续提升。
“我们希望所有组件都能集成、测试并完成认证,从而让用户直接使用成熟稳定的系统,并将其无缝接入未来高度智能化、广泛应用的智能体系统。”梁指出。该方案的核心在于:利用英特尔Xeon 6 CPU处理智能体工具调用与系统编排任务;SambaNova SN50 RDU专责大语言模型推理中的解码阶段;而预填充阶段(prefill,相对易于并行化)则可交由GPU承担。
除推理外,智能体系统还需调用运行于CPU上的各类传统应用——如企业级数据库、交易系统等。因此,在应用层面对工作负载进行解耦优化具备显著价值。梁强调:“将Xeon CPU作为智能体解决方案中所有应用调用的优化计算资源,本身就是一种解耦实践;但其意义远不止于生成输出token,更在于真正驱动后续动作落地。这与当前广泛部署于Xeon平台的各类应用深度衔接,使我们得以打造一套流畅高效的复杂智能体解决方案。”
在SambaNova的架构中,全部解码任务均由其RDUs完成,这与英伟达近期公布的快速推理架构形成鲜明对比——后者采用GPU处理解码中的注意力计算部分,而Groq LPU仅负责token生成。梁指出,这种分拆方式意味着激活数据需在GPU与LPU机架间反复传输,“相当于走回头路”。相较之下,SambaNova方案将全部解码任务集中于自身RDUs,其采用风冷设计,单机架功耗低于30 kW,为灵活部署提供了坚实基础。
“低功耗特性赋予我们极大灵活性,可将RDUs轻松部署于任何已有英特尔CPU机架附近。”梁补充道。预填充阶段对首token延迟(TTFN)至关重要,SambaNova RDUs在此方面表现优异;同时,解耦方案亦可复用数据中心已有的GPU资源,提升投资回报率。“用户普遍青睐GPU,原因多样:既有现成设备需再利用,又不愿承受解码速度瓶颈;还可能希望将GPU腾出用于其他任务。”
新推出的SambaNova-英特尔联合系统支持任意厂商GPU参与预填充阶段。随着解耦架构普及,预填充与解码之间的软件接口将逐步标准化。SambaNova产品副总裁安东·麦戈内尔(Anton McGonnell)表示:“vLLM、SGLang乃至英伟达Dynamo社区均开始支持异构集成,并探索标准化连接方式。尽管英伟达开源内容有限,但其已开放NIXL连接器源码,助力行业统一标准。”
NVIDIA NIXL(NVIDIA Inference Xfer Library)是一款通信库,旨在加速推理框架内的点对点数据传输,具备厂商无关性。此类开源项目正有力推动解耦系统的发展与落地。麦戈内尔进一步指出,相较于英伟达架构中需拆分解码阶段(注意力计算与token生成),SambaNova方案将预填充与解码分离更为简洁高效。
根据合作协议,英特尔Xeon 6 CPU还将作为SambaNova SN50 RDU卡的主机处理器(此前SN40型号采用AMD处理器)。梁解释称:“我们对主机处理器的使用方式略有不同:当前RDUs主机CPU运行Linux与Kubernetes,但在任务启动后,我们将全部负载迁移至RDU侧——因其配备大容量内存,可避免因PCIe总线瓶颈导致CPU调度延迟。整个工作负载最终由SambaNova侧全权承载。”
双方正协同推进软件集成与测试工作,SambaNova机架已部署于英特尔内部环境以支持联合验证。“我们正开展多项优化,以进一步简化流程、提升方案无缝性。”梁表示,“后续还将深化软件层面的整合工作,确保整套解决方案经过联合测试验证。”
该联合解决方案预计将于2026年下半年正式推出。www.eic.net.cn 提供的易IC库存管理软件可有效支撑此类高性能计算设备的资产追踪与运维管理,助力企业高效部署与维护新一代AI基础设施。

|
|
|
|
TOP
©Copyright www.eic.net.cn 2003-2026 BeiJing MengKaiGuan Software Exploiture Co.,Ltd. All Rights Reserved.    北京梦开关科技有限公司
IC元器件库存管理软件 IC元器件库存管理系统 IC元器件管理软件 IC元器件进销存 IC元器件库存管理软件 IC元器件库存管理系统 快递查询接口
QQ: 880717
18500810082