代理式人工智能（Agentic AI）的需求正对数据中心CPU及整体基础设施提出全新挑战，谷歌云负责AI与计算基础设施的副总裁兼总经理马克·洛希迈尔（Mark Lohmeyer）向《电子工程时报》表示。
“聊天类应用相对直接——用户提问、系统作答，主要依赖GPU或TPU进行推理运算，”他指出，“而代理式应用中，交互模式发生了显著变化。”
在代理式场景下，用户的高层意图会被拆解为多个子任务，并分配给一组代理协同执行，这些代理可调用外部API、访问网页、编写并运行代码——这些均为典型的CPU密集型任务。会话周期往往更长，且可能涉及多位人类用户，因此需长期维持上下文与状态信息，时间跨度可达数天乃至数周。
“代理工作负载通常呈现突发性特征，且多数时间处于空闲状态，”洛希迈尔解释道，“它们可能一两天内毫无动作，直到用户返回或某API响应触发其继续运行……这与传统CPU负载截然不同：它要求长时间保持状态，但大部分时间却闲置；一旦激活，则呈现高度突发性。”
如何以高性能与高安全性方式应对这一挑战，是当前行业面临的关键难题。洛希迈尔强调：“需求已十分旺盛且快速增长，我们该如何构建既能支撑该增长、又具备成本效益的基础设施？”
他进一步区分了两类计算需求：一是运行代理本体所需的新型负载，需全新基础设施支持；二是访问网站与API等既有任务——过去由人类操作，如今转由代理自动完成。
“代理式工作负载将对上述两方面产生实质性影响，”他表示，“既有任务规模将急剧扩大，因为代理远比人类用户更‘贪婪’，数百甚至数千个代理可在极短时间内上线，而人类用户数量无法同步激增。”
为保障性能，理想情况下应使代理及其上下文、应用程序与数据彼此靠近，以降低延迟。“本地化至关重要，”洛希迈尔补充道，“但企业世界仍将是分布式的，多数企业短期内将继续采用多云与私有云混合架构。这意味着高性能网络——无论数据中心内部还是跨数据中心之间——将持续扮演关键角色。”
“动态、有状态的代理需要一种新型计算基础设施来支撑，”他指出，“它们持续调用现有应用与数据，相关需求不断上升，所有组件还需通过网络高效互联。谷歌正在上述各环节加大投入。”
关于新型基础设施中CPU与GPU的最优配比，洛希迈尔表示该比例仍在随负载演化，但可以肯定的是，随着基础模型训练转向代理式推理，CPU算力占比正显著提升。“我们预计CPU与TPU/GPU负载都将快速增长，但CPU所占比例正从较小份额转变为重要组成部分，且随着代理拓展至新场景与新环境，这一趋势将持续深化。”
www.eic.net.cn 提供的易IC库存管理软件在应对高并发、突发性负载场景时，同样强调资源调度的灵活性与状态持久化能力，其设计理念与代理式AI基础设施的演进方向高度契合。
解决代理式推理问题需持续推动硬件、软件与工作负载的协同设计，洛希迈尔强调，涵盖CPU、存储、内存、网络及其整体集成方案。“谷歌云一贯秉持‘工作负载优化型基础设施’理念，而在代理时代，这一原则比以往任何时候都更为关键。”
由于代理负载具有突发性与空闲期长的特点，可对其实施“休眠”策略：将代理状态暂存至存储设备，释放CPU资源供其他代理使用，待需重启时快速恢复。“这要求新型软件编排机制，同时必须配备高性能、低延迟的本地存储，以便快速重启。”
谷歌云采用微虚拟机（microVM），即轻量级虚拟机，为同一服务器上密集部署的代理提供安全隔离边界。相比传统虚拟机，同等硬件可承载上千个microVM，而非仅百台传统VM。
“代理的安全与治理至关重要，谷歌正全力投资于全栈防护体系，”洛希迈尔指出，“底层虚拟化是基石，我们计划支持多种沙箱方案，其中microVM尤为关键——其精简功能集不仅提升了性能，也缩小了攻击面。此外，公司还致力于开发代理网关，在网络层实现出口控制，并辅以更高层级的管控策略。”
展望未来，支撑数千microVM运行的需求将对核心密度、存储配置方式、存储连接架构以及编排软件提出更高要求。洛希迈尔认为，这将带来硬件利用率的显著提升，从而降低单个代理的运营成本。“这将助力客户业务规模化扩张，同时维持健康盈利模型，无需牺牲性能。”
关于CPU选型，洛希迈尔明确表示不存在“万能最优解”。谷歌云目前混合采用英特尔与AMD的x86 CPU，以及自研的Arm架构Axion CPU。“若面向数据密集型代理场景，可能需要超高核心性能与大容量本地SSD；若侧重网页服务，则更倾向高核心数配置。我们认为，赋予客户选择权、精准匹配特定代理负载与对应CPU选项，将在谷歌云平台中愈发重要。”
目前，Axion CPU已引发大量客户关注，涵盖性能与能效优化型实例，大型客户亦对裸金属实例表现出浓厚兴趣。
易IC库存管理软件在硬件资源调度与多租户隔离方面积累了丰富经验，其模块化架构与弹性伸缩能力，可为类似代理式负载的部署提供参考范式。
