AI宝库

AI宝库首页 › AI 资讯 › 当AI从“会想”走向“会干”——腾讯云与英特尔共筑Agentic AI执行新底座

当AI从“会想”走向“会干”——腾讯云与英特尔共筑Agentic AI执行新底座

来源:InfoQ中文 · 发布时间:10-31 · 由 AI宝库每小时自动聚合

本条资讯的摘要暂未整理出来,可点击下方按钮查看原文;本站每小时自动补充中文摘要。

过去,人们与大模型的交互是一条相对简单的链路:输入 Prompt,模型生成 Response。进入 Agent 时代,这条链路变成了“规划—推理—行动—反馈”的循环。一次用户请求,可能进一步调用网页、API、数据、工具、代码和其他系统,展开为成千上万个机器动作。

以“分析销售数据并生成报告”为例,Agent 需要读取文件、准备依赖、编写并运行代码、检查结果,再根据反馈修改重试。生成文字只是其中一步,任务要靠一连串实际操作才能完成。CPU 也因此不再只是为 GPU 做配套,而要参与整个工作流的编排和 Action 执行。

问题随之而来:当 AI 从“生成答案”走向“执行任务”,过去围绕模型推理设计的基础设施,还够用吗?腾讯云与英特尔围绕智能体基础设施的协同,正是从这条更长的执行链路出发,回应计算、内存与执行环境上的三重挑战。

第一重挑战:算力有起伏,现场不能丢

Agent 并不是始终满负荷计算。它更像“想一下,干一下,再想一下”:等待模型或工具返回时,CPU 需求回落;处理数据、执行代码、运行测试时,计算需求又迅速上升。这是 Agent 负载的常态——资源需求随任务推进起起伏伏,要求基础设施能够跟随行动节奏灵活调配算力,而不是始终按照峰值预留。

计算可以暂歇,工作现场却不能随之消失。已经载入的数据、装好的依赖、执行到一半的程序,以及多轮交互中累积的状态,都需要跨越多个 Action 持续保留。第一重挑战由此出现::应对突发性计算负载(bursty workloads),同时保障任务状态的持久化(state persistence),让 Agent 在下一次行动时能够接着干。

按峰值长期预留资源,等待阶段容易闲置;每次空闲都拆掉环境,下一步又要重新搭建现场。Agent 需要的弹性基础设施,不能只做到“忙时加核、闲时收核”,还要能够保存现场,并在新的行动到来时恢复执行。弹性的对象,不只是算力,也包括支撑任务推进的状态。

腾讯云 Cube Sandbox 把这一需求拆成两种弹性。计算弹性,强调快速启动、高密度和大规模并发;状态弹性,强调暂停与恢复、快照与克隆,以及跨节点恢复。平台不再只管理一次请求需要多少资源,还要管理一段任务如何等待、接续和分支执行。

这也明确了双方协同的方向:Cube Sandbox 在运行时层面管理环境的创建、保存和接续,英特尔至强在底层支撑环境编排、任务执行与状态处理。当越来越多的 Agent 需要同时保留工作现场,软硬件配合要解决的下一个问题,就是这些现场究竟放在哪里、如何高效容纳。

第二重挑战:核心够用,内存可能先不够

增加 CPU 核心,并不必然带来同比例增长的 Agent 承载能力。在高密度执行平台上,内存既要服务正在运行的程序,也要承载需要继续保留的状态。当大量环境同时存在,制约密度的可能先是内存容量,而不是核心数量。算力能否充分利用,也取决于这些核心能否获得足够的内存。

英特尔数据中心集团软件技术总监胡勇以一组示例配置进行了测算:假设每个 Agent 占用约 2GB 内存,每个 vCPU 承载 4 个 Agent,则每个 vCPU 需要约 8GB DRAM;而在一套 256 vCPU、12 内存通道、每条 DIMM 128GB 的配置中,平台平均可提供约 6GB DRAM/vCPU,由此形成约 2GB/vCPU 的容量缺口。面向这一问题,可以从三个互补方向提升容量效率。

1. 让现有内存更高效,英特尔 IAA(存内分析加速器)可承担内存压缩与解压。在此次测试配置下,软件 LZ4 方案与 IAA Deflate 方案均达到约 2.1∶1 的压缩比;相较软件方案,IAA 将压缩延迟从 5.70 毫秒降至 0.51 毫秒,将解压延迟从 0.96 毫秒降至 0.08 毫秒,分别约为原来的 1/11 和 1/12。

2. 扩大本地 DRAM 容量,在支持的服务器上,从每通道一条内存的 1DPC 扩展到两条的 2DPC,直接增加本地容量。

3. 引入 CXL 内存扩展路径,为访问频率较低、但仍需保留的状态提供空间,减轻本地 DRAM 的压力。

压缩、扩容、分层,具体如何组合,取决于硬件配置、软件接入和真实工作集。但方向已经清楚:Agent 时代,CPU 的竞争正在从“有多少核心”,延伸到“每个核心能获得多少高效内存”。而当资源准备就绪,Agent 还缺最后一样东西:一个可以放心动手的地方。

第三重挑战:执行环境必须同时做到快、稳、密

当 Agent 开始运行代码、读写文件、调用 API、使用工具和访问系统,就不能让生成的代码直接在宿主机上随意执行。Sandbox,也就是沙箱,成了 Agent 的“工作间”。这是第三重挑战,也是三重挑战中最直接决定 Agent 能否干活的一环——这个工作间既要提供清晰的执行边界,也要及时交付,不能让任务长时间卡在准备环境这一步。

Agent 时代的沙箱,要同时满足三个要求:Fast,启动必须快;Isolated,隔离必须可靠;Dense,一台服务器必须能同时运行足够多的沙箱。腾讯云 Cube Sandbox 正是围绕这三点设计的,代表性指标包括约 48 毫秒启动、每个沙箱拥有独立 Guest Kernel,以及每实例低于 5MB 的额外开销。

没有 Sandbox,Agent 不敢干活;Sandbox 起得不够快、开得不够多,Agent 又干不了多少活。为了快,Cube Sandbox 通过内存快照恢复,避免每次创建环境都重复经历传统虚拟机的完整冷启动。内核引导、初始化和运行时加载等准备工作,不必在每次工具执行前从头再来。软件层面先省去重复准备,底层平台再高效完成必要的调度、恢复和执行。

为了多,Cube Sandbox 采用“共享只读基础+写时复制”:多个沙箱共享只读镜像和内存基础,只有各自修改过的 Dirty Pages,也就是脏页,才需要单独保存。好比许多 Agent 共用一套备好的工作台,各自另存自己写下的内容,而不必把整间工作室复制一遍。

这也是对内存挑战的软件侧回应:减少环境之间的重复占用,为真实增长的任务数据留出更多空间。但启动机制高效、内存复制更少,还不等于高并发下就能及时交付环境。这正是双方联合测试进一步关注的问题。

联合实测:在目标时延内接住更多请求

智能体 AI 要高效运转,执行环境也要随叫随到。当工作负载开始大规模落地,平台面对的不只是创建一个沙箱,而是在极短时间内批量创建并拉起大量沙箱,高效完成执行环境的编排与隔离。能否在并发请求增加时守住目标时延,成为检验基础设施能力的关键一环。

联合测试显示,随着启用核心数从 48 核提升至 144 核,Cube Sandbox 的并发创建量从 100 增加至 250,而平均创建时延始终保持在约 200 毫秒,体现出良好的并发扩展能力。进一步测试中,在平均创建延迟 200 毫秒的条件下,搭载至强®6+处理器的 Cube Sandbox 可支持 350 个沙箱并发创建请求,并发密度达到其他主流测试平台的 1.46 倍。

对于 Agent 基础设施而言,真正重要的并不只是单个沙箱启动有多快,而是当大量 Agent 同时“开工”时,平台能否在目标时延内持续交付足够多的执行环境。这也让 CPU 的价值衡量从单任务性能,进一步走向面向 Agent 执行的系统级并发效率。

在这一过程中,Cube Sandbox 通过快照恢复、共享基础镜像和写时复制等机制,减少重复初始化与内存复制;英特尔® 至强® 6+则以高密度计算和平台扩展能力支撑大规模沙箱的并发创建与执行。二者的软硬件协同,最终指向一个更贴近 Agent 实际应用的指标:

在既定时延目标下,一台服务器究竟能让多少 Agent 同时“开工”?

实测结果也让处理器性能与 Agent 规模化部署真正建立起联系。当大量沙箱创建请求集中到来时,平台不仅需要“有资源”,更需要及时将资源转化为可用的执行环境。这也意味着,未来 Agent 基础设施比拼的将不只是单点性能,更是面向规模化执行的持续交付能力。

状态接续:让工作间成为 Agent 运行时

环境就绪之后,Agent 还要在受控边界内持续工作。Cube Sandbox 采用 MicroVM 架构,为每个沙箱提供独立 Guest Kernel,底层依托至强处理器与 KVM 硬件虚拟化能力。独立内核与虚拟化机制共同构成执行边界,避免 Agent 生成的代码直接运行在宿主机环境中。

网络侧,Cube Sandbox 采用 eBPF 隔离,默认拒绝、按白名单放行;凭据由七层代理在出站请求中注入,不直接暴露给沙箱内代码。独立内核、网络策略和凭据管理分别作用于不同环节,使环境隔离与外部访问控制相互配合,为 Agent 执行工具和访问系统提供防护。

但沙箱的价值并不止于隔离。Cube Sandbox 还提出像 Git 一样管理环境:运行中的沙箱可以保存快照,再克隆出多个分支,分别继续执行、失败后丢弃,或者暂停后再恢复;借助跨节点恢复,状态也不必始终绑定原来的计算节点。第一重挑战提出的“状态弹性”,在这里变成了具体能力。

对于需要反复试错、跨轮交互的 Agent,这意味着环境可以随着任务进展被保存和接续。暂停不必等于清空现场,尝试另一条执行路径也不必每次从零开始。沙箱由此从安全隔离环境,进一步成为 Agent Runtime 的重要执行基础,支撑任务在多个行动之间持续推进。

从 Cube Sandbox 管理环境生命周期,到至强提供计算、虚拟化与状态处理支持,双方合作将三重挑战连成了一条线。计算需要按需调配,内存需要高效承载,执行环境则要及时就绪、受控运行并保留现场。只有这些环节衔接起来,Agent 才能从一次模型调用走向一段完整的工作过程。

从 Scale Inference 走向 Scale Execution

模型中心的 AI,链路是“Prompt—Model—Response”,核心问题是 Scale Inference,关注模型吞吐与推理效率;Agentic AI 则进一步走向 Scale Execution,关注整个任务能否安全、高效、大规模地完成。基础设施的衡量尺度,也从每秒生成多少 Token,扩展到能够及时交付多少执行环境、支撑多少任务持续推进。

腾讯云 CubeSandbox 与英特尔® 至强® 6+ 的合作,为这一变化提供了具体注脚。CubeSandbox 提供弹性、可信且具备状态管理能力的执行环境,至强® 6+则以高性能计算与平台扩展能力,支撑大规模沙箱的并发编排与执行。双方的联合验证,让软硬件协同从架构设计落实到实际效果,体现为目标时延内更强的沙箱并发创建能力,充分体现了至强® 6+在 Agentic AI 领域的优势。

当 AI 从“会想”走向“会干”,CPU 的价值也开始从支撑模型,走向支撑海量 Agent 真正行动起来。至强® 6+与 Cube Sandbox 的协同,让执行环境更快就绪,让更多 Agent 同时“开工”,也进一步展现了 CPU 作为 Agentic AI 执行底座的价值。

本文由 AI宝库自动抓取并翻译,版权归原作者所有;如需查看原文请点下方链接。

相关 AI 工具

相关免费羊毛

同源资讯

阅读原文(infoq.cn)

标题、摘要与正文均来自该信源的公开页面,版权归原作者所有;本站自动聚合与翻译,仅作出处跳转。

← 返回 AI 资讯列表AI工具图鉴首页

返回 AI宝库首页 · 提交工具 · 商务合作 · 关于本站 · 602 款 AI 工具分类导航 · 每日 AI 热门项目与动态