AWS 团队总结多智能体系统上生产的 5 个挑战及 Deep Insight 的解法
AWS 解决方案架构团队开源了多智能体数据分析系统 Deep Insight,并梳理生产化过程中的五个核心挑战:跨智能体执行流控制、各角色 LLM 选型、生产运行、AI 生成代码的安全执行与系统监控。
AWS 解决方案架构团队开源了多智能体数据分析系统 Deep Insight,并梳理生产化过程中的五个核心挑战:跨智能体执行流控制、各角色 LLM 选型、生产运行、AI 生成代码的安全执行与系统监控。
AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
基于 Strands Agents 构建的自适应智能体智能框架 AAIF 将请求分为三层处理:由 1B 参数的 llama3.2:1b 作为编排器分类请求,常规任务交给 Ollama 本地运行的 SLM(含 llama3.2-vision 视觉分析),复杂分析则经 boto3 路由至 Amazon Bedrock 的前沿模型。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 后端、torchtitan 原生 Qwen3 实现,以及接入 NKI MoE kernel。
Dharma-AI 预告即将发布的 VocabX 论文,提出按 token 成本而非词频重建领域模型词表,在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%,平均回复从 350 个 token 降到 101 个,bench 分数从 0.703 升到 0.810。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
NVIDIA 与华盛顿大学蛋白质设计研究所联合发布 BioNeMo 开源模型 RFD4-Proteina,把蛋白质序列与全原子结构生成合并到一个模型中,减少骨架、序列、全原子结构之间的多次交接。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型构建者在第三方裸金属基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA cuDSS 正式发布,这是一款 CUDA-X 库,可将工程与科学仿真中的大型稀疏系统求解迁移到 GPU 上。Applied Materials 在 Ginestra 中实现最高 10x 加速,Dassault Systèmes 的 Abaqus 报告 8-10x 加速,ZEISS SMT 用 COMSOL 完成 EUV 光刻等离子体仿真基准测试提速 4x。
NVIDIA 在 GTC Berlin 发布 Factory Operations Blueprint(FOX)早期访问版并上线 GitHub,开发者可构建常驻工厂管理智能体,连接 Cosmos、Nemotron 等模型与 CAD、PLM、仿真系统。
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用,A5X 实例将于下月正式上线并计划扩展至欧洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Virgo Network 与第四代液冷技术,Google Cloud 计划在多个站点部署最多 960,000 块 Rubin GPU。
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品,并公布多项软件与生态更新。RTX Spark 面向 Windows PC 运行个人智能体,DGX Spark 64GB 将于 10 月 23 日由合作伙伴推出,DGX Station 提供 748GB 一致内存和最高 20 petaflops AI 性能。
Nebius、Nscale 和 Verda 等 AI 云厂商正采用 NVIDIA Vera CPU 构建本地基础设施,以支撑智能体计算中信息检索、代码执行等 CPU 密集型任务。
NVIDIA 扩展 Nemotron Retriever 系列,发布 Nemotron 3.5 Embed(8B BF16、1B BF16、1B NVFP4)、Nemotron 3.5 Rerank 8B BF16 和 631M 参数的 Nemotron 3.5 Parse,均为开放且可商用的模型。
NVIDIA Agent Toolkit 新增 Agent Knowledge Foundation 等工具,帮助企业用自有数据定制、监控和治理智能体。Agent Knowledge Foundation 包含 CUDA-X 库、Nemotron Retriever 与 Kumo 系列开放模型,并配套 OpenShell 安全运行时和 NemoClaw 蓝图。
NVIDIA 宣布其欧洲、北欧、非洲和中亚的云合作伙伴正扩展区域算力,用于模型训练与推理及智能体、物理 AI 应用开发。Nscale 测试显示,基于 GB300 NVL72 的 NVIDIA DSX MaxLPS 在同等供电预算下多支持 37% 的 GPU、聚合推理吞吐提升近 50%。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 Gated Linear Attention 的 Laplace 3B 线性注意力模型移植到 AWS Trainium2,其循环状态固定为每序列 29.5 MB、不随上下文长度增长。
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建了面向 Reliance 质量管理系统(服务超 650 家企业客户、覆盖 180 个国家)的多租户 AI 基础平台,将单个用例的部署时间缩短 50%。
开源推理模型 GPT-OSS-20B 默认用英语思考,在 50 例多语言推理测试中仅 22% 用目标语言推理(英语 100%、法语 0%、德语 10%、西班牙语 0%、意大利语 0%)。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,把企业 MCP 服务器变成可组合工具层,让供应链管理者用自然语言跨系统提问并直接获得可执行答案。演示中一次查询识别出 TechComp 停产影响 23 笔订单、75 万美元营收面临风险,并自动串联治理与报价 MCP 生成紧急 RFQ。所有变更需指定人工审批,同一流程可由定时任务或供应商邮件触发。
Amazon Bedrock 的跨区域推理(CRIS)现支持从加拿大(中部)和加拿大西部(卡尔加里)区域调用 OpenAI GPT-6.1 Sol、GPT-6(Astra、Sol、Luna)和 GPT-5.6(Sol、Terra、Luna)模型,推理在北美境内处理。
AWS 发布系列第三篇教程,演示用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体,跨 Amazon Redshift 与 Amazon Aurora 构建 Customer 360 模型,无需 ETL。
本文演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体,联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
Hugging Face 宣布接入原生 PyTorch TPU 后端 TorchTPU,Transformers、Diffusers 和 Kernels 可直接在 TPU 上运行,模型通过 device_map="tpu" 或 pipe.to("tpu") 加载,不再需要 Optimum TPU。
Eon 用 Amazon Bedrock AgentCore 的 MCP Gateway 替换了逐工具凭证和本地 MCP 进程,让开发者和自主 SRE 智能体通过单一认证网关访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS 与 Keyfactor 联合发布参考架构,用 X.509 PKI 为 AI 智能体建立加密身份,解决 MCP 缺乏内置认证标准导致的智能体伪造与凭证重放问题。
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
Amazon SageMaker AI 新客户现可用 Google、GitHub、Apple、Amazon 账号或邮箱在 2–3 步内注册 AWS,并自动在约 20 秒内创建好 SageMaker Studio 环境。
2026 年 1 月至 9 月,Amazon SageMaker JumpStart 新增超过 100 个模型,来自 30 家不同提供商。其中 Alibaba(Qwen)贡献 29 个模型,NVIDIA 贡献 17 个,包括 Cosmos3 世界基础模型系列与 Nemotron 系列;Mistral、Google、IBM、Cohere 分别新增 7、6、4、4 个模型。
Hugging Face 推出 PyTorch 原生后端 TorchNeuron,让 Transformers、Diffusers 等库可直接在 AWS Trainium 上运行模型。
vLLM 新增 push 模式的 NIXL connector,把 KV 传输的协调与准备工作移出首 token 关键路径。在 AWS EC2 P5en 实例搭配 EFA 的 1P1D 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再以与加速器无关的形式贡献给 vLLM。
Deepgram 将 Nova-3 语音转文字模型移植到 AWS Trainium2,在单台 Amazon EC2 trn2.3xlarge 实例上运行八个模型副本,离线批处理任务每美元处理的音频量比原有算力方案提升 11%–70%。
vLLM 引入双向 KV 传输,让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点,避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上,该机制使 Qwen3-32B 的 TTFT 最高降低 1.6 倍、zai-org/GLM-5-FP8 最高降低 3.3 倍。
AWS 销售与市场团队基于 Amazon Bedrock AgentCore Evaluations 搭建了覆盖从首次提交到生产运行的九阶段智能体评测框架,用于其内部多智能体销售分析系统。
Reflection AI 发布开源权重模型 Beam,面向智能体编码与长周期任务,采用稀疏 MoE 架构,总参数 501B、激活参数 23B,官方称有效上下文长度达 100 万 token,权重以 Apache 2.0 协议在 Hugging Face 发布,提供 BF16、FP8、NVFP4 三种检查点。
Meta 的编程优化开源权重模型 Muse Spark Open 已在 Amazon SageMaker JumpStart 上线,支持 100 万 token 上下文窗口。该模型采用 MoE 架构,总参数 816B、每 token 激活 42B,提供 BF16 和 NVFP4 两种变体,可部署到用户自有 AWS 账户的 SageMaker AI 端点。
AWS 提出 Trust in Depth 框架,用自动化推理等独立分层机制验证 AI 智能体的行为边界,让其在规则可验证时自主行动、仅将真正需要判断的决策交给人。
Mistral 发布首个时序基础模型系列 Timestral,提供 5M、28M、123M 和 209M 四个尺寸,最大模型在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上均排名第一,参数量约为此前 SOTA 的三分之二。
NVIDIA 加入欧盟委员会在都柏林 AI in Science Summit 上启动的 AI in Science Enablers Initiative,为欧洲科研社区提供加速工具、算力与培训支持。
NVIDIA 过去一年投资北欧科技生态,包括瑞典初创公司 Lovable 和 Legora,Lovable 正用 NVIDIA Dynamo 与 Nemotron 工具优化开放模型推理并训练自有模型。