EXL 如何设计可持续的 AI 服务框架（serving harness）
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架（serving harness），即架构、内存管理、调度与推理优化的工程系统。其核心主张是先按业务负载确定约束再定架构，并以 KV cache 随并发与上下文增长导致 GPU 显存瓶颈为例，强调先测量再优化。框架还需具备适应性，使换模型成为评估与配置决策而非架构重建。
#部署/工程
MIT Technology Review · AIAI 评分2222 The DecoderAI 评分6060 Google 推出 Agent Compute Engine，为每个 Gemini 智能体分配硬件隔离的 microVM
Google 发布 Agent Compute Engine，为每个 AI 智能体分配独立的隔离虚拟机，该服务已用于支撑 Gemini，并将在未来几个月开放预览。
AWS Machine Learning BlogAI 评分4848 在 Amazon SageMaker AI 上用 Kokoro TTS 为 AI 智能体流式输出低延迟语音
在 Amazon SageMaker AI 上托管的 Kokoro-82M 文本转语音模型可按句流式合成，让 AI 语音智能体在第一句生成后就开始播放音频，而不必等完整回复结束。该模型仅 8200 万参数，可运行在单台 ml.g5.xlarge GPU 实例上，容器同时提供 POST /invocations 与 WebSocket 双向流两条路径。
AWS Machine Learning BlogAI 评分2222 在 HIPAA 合规环境中部署 AI：Amazon Quick 的 PHI 数据治理能力
Amazon Quick 是 AWS 的 HIPAA-eligible 服务，其 Web、桌面和移动客户端均可在签署 AWS BAA 后处理 PHI。该平台的 chat agent 可跨临床笔记等非结构化内容和理赔、会员记录等结构化数据执行多步任务，并通过 connectors 和 MCP 连接外部系统。
AWS Machine Learning BlogAI 评分3636 用 Amazon SageMaker 训练会话 API 编写自己的训练循环，无需管理 GPU
Amazon SageMaker AI 的训练会话 API 让开发者用 forward_backward()、optim_step()、sample() 等调用在本地 Python 进程中驱动一个常驻 GPU 的有状态会话，模型连同 LoRA 适配器保持加载，服务端负责分布式执行、梯度同步与故障恢复。
AWS Machine Learning BlogAI 评分3838 AWS SageMaker AI 推出无需管理 GPU 的模型定制新方式：Training Sessions 正式可用
AWS 宣布 SageMaker AI 无服务器模型定制中的 Training Sessions 正式可用，用户可自行编写并协调训练循环，GPU 分配、分布式执行、故障恢复与 checkpoint 存储由平台托管。
AWS Machine Learning BlogAI 评分3636 IskayPet 如何用 Amazon Bedrock Managed Knowledge Bases 统一企业知识
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手，覆盖零售运营、兽医护理、人事入职和采购，支持四种语言、三个国家，无需自建 RAG 基础设施。
Latent SpaceAI 评分4242 Modal CEO Erik Bernhardsson 谈为何 AI 算力需求不是矩形
Modal CEO Erik Bernhardsson 解释 AI 算力需求并非固定矩形合同：真实负载会随时间增长、尖峰和回落，Modal 通过聚合数千客户需求、在底层锁定容量，让客户按需弹性使用。
AWS Machine Learning BlogAI 评分3636 Rescale 如何用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体
Rescale 基于 AWS 的 AI-DLC 框架构建了 AI 分诊智能体，从问题定义到预发部署仅用五天，数周内进入生产。
AWS Machine Learning BlogAI 评分3131 别再猜 Amazon SageMaker AI 上 TTS 的自动扩缩容目标值
针对自托管 TTS 端点自动扩缩容目标值靠猜的问题，AWS 在 Amazon SageMaker AI 实时端点上部署 82M 参数的 Kokoro-82M 自定义容器，用实测的 Q_max（单实例在 SLO 内可承受的最高并发）和 T_total（一次扩容端到端耗时）通过算术推导出扩容阈值、缩容阈值和两个冷却时间。
NVIDIA BlogAI 评分3131 NVIDIA 推出 Minerva：为 AI 工厂提供端到端可观测性
NVIDIA 发布 AIOps 平台 Minerva，整合 GPU、网络、存储、调度器与工作负载的遥测数据，为 AI 工厂提供端到端可观测性。该平台每小时分析数十亿数据点，通过动态知识图谱定位影响训练任务的组件，并将告警风暴聚合为单一事件及可能根因。
NVIDIA BlogAI 评分1818 《使命召唤：现代战争 4》首发登陆 GeForce NOW，RTX 5080 级性能支持光追
《使命召唤：现代战争 4》于 GeForce NOW 首发上线，Ultimate 会员可在云端以新增的 GeForce RTX 5080 级性能体验战役光追效果。
MIT Technology Review · AIAI 评分3131 AI 的隐性存储账单：推理在后台留下了什么
WD 内部测量显示，一段 8 秒 AI 视频（用户拿到的是 3.97MB 的 720p 文件）在后台留下超过 500MB 关联数据，是输出文件体积的 130 倍。
极客公园AI 评分5858 腾讯元宝搜索全面升级并通过腾讯云开放 API
腾讯元宝搜索于 10 月 20 日全面升级，并通过腾讯云以 API 形式向个人开发者与企业开放，此前已支撑腾讯内部 50 余款产品、日均调用量达数亿次。官方提供直接 API、MCP 和 SkillHub 三种接入方式，开通后可获每月 2000 次免费额度，并支持 Freshness、Industry、Site 等检索参数。
NVIDIA BlogAI 评分3838 NVIDIA Earth-2 开放模型在欧洲落地：AXA、Vaisala Xweather 等用于真实天气预报
NVIDIA 在 GTC Berlin 展示 Earth-2 开放模型家族在欧洲的实际部署，并推出基于欧洲气象数据训练的 StormScope EU 区域短期预报模型。
NVIDIA BlogAI 评分2525 NVIDIA 如何改造欧洲零售：从数字发现到实体运营
NVIDIA 正以开放模型和物理智能改造欧洲零售：Shopify 用 NVIDIA Nemotron 3.5 Lightning 后训练出 Sidekick 的 GraphQL 子智能体，内部基准上准确率超过领先前沿模型，服务成本降低 90%、响应快 7 倍。
NVIDIA BlogAI 评分2626 企业如何用 NVIDIA DSX 破解 AI 工厂电力瓶颈
NVIDIA DSX AI Factory Platform 正被多家企业用于把电网与 AI 工厂作为一套系统统一规划、仿真和运行。GE Vernova、日立能源、施耐德电气、西门子能源等已基于该平台推进电力与冷却参考架构及数字孪生；Phaidra 集成 DSX Flex、DSX Max-Q 和 DSX Exchange 后，在同等功耗下多获得约 10% 算力。
NVIDIA BlogAI 评分4848 NVIDIA Cosmos 扩展训练、评估与部署世界模型的新工具
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真 checkpoint 和 Cosmos Data Factory 蓝图，Cosmos 平台在六个开放模型排行榜上进入前五。
OpenAI NewsAI 评分2222 Cloudflare 用 OpenAI 打通漏洞发现与防御
Cloudflare 使用 OpenAI Daybreak 调查漏洞并提出修复方案供人工审核，同时其开发者借助 Codex 加快开发速度并提升代码质量。
AWS Machine Learning BlogAI 评分6060 AWS 团队总结多智能体系统上生产的 5 个挑战及 Deep Insight 的解法
AWS 解决方案架构团队开源了多智能体数据分析系统 Deep Insight，并梳理生产化过程中的五个核心挑战：跨智能体执行流控制、各角色 LLM 选型、生产运行、AI 生成代码的安全执行与系统监控。
AWS Machine Learning BlogAI 评分2020 如何用 AWS PrivateLink 让 Amazon Quick 从企业内网安全访问数据
AWS 发布方案，通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接，让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
TechCrunch · AIAI 评分2222 Blacksmith 获红杉领投 6600 万美元 C 轮，估值达 10 亿美元成独角兽
Blacksmith 完成红杉领投的 6600 万美元 C 轮融资，估值达 10 亿美元。这家帮助企业对 AI 生成代码进行持续集成构建与测试的平台，年经常性收入增长 17 倍，已运行超 9000 万个 CI 任务，客户包括 Mercury 和 Granola。此轮距其 4500 万美元 B 轮仅两个月，公司累计融资 1.25 亿美元。
AWS Machine Learning BlogAI 评分4747 基于 Strands Agents 的自适应智能体框架 AAIF：用本地 SLM 分流请求降低云端成本
基于 Strands Agents 构建的自适应智能体智能框架 AAIF 将请求分为三层处理：由 1B 参数的 llama3.2:1b 作为编排器分类请求，常规任务交给 Ollama 本地运行的 SLM（含 llama3.2-vision 视觉分析），复杂分析则经 boto3 路由至 Amazon Bedrock 的前沿模型。
AWS Machine Learning BlogAI 评分3434 在 AWS Trainium 上用 torchtitan 训练 Qwen3
在单台 trn2.48xlarge 上，torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备，以三种方式训练 Qwen3-4B-Instruct-2507：Transformers v5 后端、torchtitan 原生 Qwen3 实现，以及接入 NKI MoE kernel。
Ars Technica · AIAI 评分6262 OpenAI 最新模型将登陆 Google Cloud 与 Antigravity
OpenAI 最新 AI 模型将接入 Google Cloud 和 Antigravity。Google Cloud 将在未来几周上线 GPT 6.1 Astra、Sol 和 Luna。
Hugging Face BlogAI 评分5858 VocabX 如何通过词表专门化将小模型推理成本降低 77%
Dharma-AI 预告即将发布的 VocabX 论文，提出按 token 成本而非词频重建领域模型词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%，平均回复从 350 个 token 降到 101 个，bench 分数从 0.703 升到 0.810。
Hugging Face BlogAI 评分3232 TorchNeuron 性能剖析（一）：在 AWS Trainium 上做系统级性能分析
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇，讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
The DecoderAI 评分3636 Mistral 与 Nvidia 联手用物理 AI 加速工业设计
Mistral 与 Nvidia 合作，将 Mistral Large 4 和 Mistral 的物理 AI 与 Nvidia 的 CUDA-X、Warp 及 Omniverse 结合，把设计、仿真与 AI 训练串成连续工作流，面向航空航天、汽车和半导体行业。
The DecoderAI 评分2626 Nvidia 推出 DSX POD 模块化数据中心参考设计，部署时间从六个月缩短至最短 14 天
Nvidia 在 GTC Berlin 发布 DSX POD，这是围绕 Vera Rubin 系统的模块化数据中心参考设计，由 Dell、HPE、Lenovo、Schneider Electric 等伙伴在工厂完成计算、网络、布线、供电与液冷安装测试，现场只需接入电力、冷却和网络，部署时间从六个月缩短至最短 14 天。
Hugging Face BlogAI 评分5858 NVIDIA 与华盛顿大学发布 RFD4-Proteina 蛋白质设计模型并上线 Hugging Face Spaces
NVIDIA 与华盛顿大学蛋白质设计研究所联合发布 BioNeMo 开源模型 RFD4-Proteina，把蛋白质序列与全原子结构生成合并到一个模型中，减少骨架、序列、全原子结构之间的多次交接。
NVIDIA BlogAI 评分2626 NVIDIA 扩展 Confidential Computing，推出 Confidential Bare Metal 让前沿模型构建者安全扩展全球基础设施
NVIDIA 扩展 Confidential Computing，新增 Confidential Bare Metal 部署选项，让前沿模型构建者在第三方裸金属基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA BlogAI 评分2222 NVIDIA cuDSS 正式发布，加速工程与科学仿真
NVIDIA cuDSS 正式发布，这是一款 CUDA-X 库，可将工程与科学仿真中的大型稀疏系统求解迁移到 GPU 上。Applied Materials 在 Ginestra 中实现最高 10x 加速，Dassault Systèmes 的 Abaqus 报告 8-10x 加速，ZEISS SMT 用 COMSOL 完成 EUV 光刻等离子体仿真基准测试提速 4x。
NVIDIA BlogAI 评分3434 欧洲工业巨头用 NVIDIA CUDA-X、Omniverse 与 Cosmos 重塑工程与制造
NVIDIA 在 GTC Berlin 发布 Factory Operations Blueprint（FOX）早期访问版并上线 GitHub，开发者可构建常驻工厂管理智能体，连接 Cosmos、Nemotron 等模型与 CAD、PLM、仿真系统。
NVIDIA BlogAI 评分3838 Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用，A5X 实例将于下月正式上线并计划扩展至欧洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Virgo Network 与第四代液冷技术，Google Cloud 计划在多个站点部署最多 960,000 块 Rubin GPU。
NVIDIA BlogAI 评分5858 NVIDIA 在 GTC Berlin 公布 RTX Spark、DGX Spark 与 DGX Station 本地 AI 更新
NVIDIA 在 GTC Berlin 展示本地 AI 硬件全线产品，并公布多项软件与生态更新。RTX Spark 面向 Windows PC 运行个人智能体，DGX Spark 64GB 将于 10 月 23 日由合作伙伴推出，DGX Station 提供 748GB 一致内存和最高 20 petaflops AI 性能。
NVIDIA BlogAI 评分3838 欧洲厂商采用 NVIDIA Vera CPU 构建本地 AI 基础设施
Nebius、Nscale 和 Verda 等 AI 云厂商正采用 NVIDIA Vera CPU 构建本地基础设施，以支撑智能体计算中信息检索、代码执行等 CPU 密集型任务。
Hugging Face BlogAI 评分5858 NVIDIA 发布 Nemotron 3.5 Embed、Rerank 与 Parse 检索模型
NVIDIA 扩展 Nemotron Retriever 系列，发布 Nemotron 3.5 Embed（8B BF16、1B BF16、1B NVFP4）、Nemotron 3.5 Rerank 8B BF16 和 631M 参数的 Nemotron 3.5 Parse，均为开放且可商用的模型。
NVIDIA BlogAI 评分3434 NVIDIA Agent Toolkit 扩展，用企业数据支撑企业级智能体
NVIDIA Agent Toolkit 新增 Agent Knowledge Foundation 等工具，帮助企业用自有数据定制、监控和治理智能体。Agent Knowledge Foundation 包含 CUDA-X 库、Nemotron Retriever 与 Kumo 系列开放模型，并配套 OpenShell 安全运行时和 NemoClaw 蓝图。
NVIDIA BlogAI 评分4242 NVIDIA 欧洲云合作伙伴扩展：主权、开放、为安全 AI 智能体而建
NVIDIA 宣布其欧洲、北欧、非洲和中亚的云合作伙伴正扩展区域算力，用于模型训练与推理及智能体、物理 AI 应用开发。Nscale 测试显示，基于 GB300 NVL72 的 NVIDIA DSX MaxLPS 在同等供电预算下多支持 37% 的 GPU、聚合推理吞吐提升近 50%。
Latent Space精选AI 评分7878 DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并披露单集群日处理 155T tokens、96% 输入缓存命中、非高峰时段每加速器小时 38 美元收入等数据。
推荐理由：读者可看到 DeepInfer 公开了哪些生产推理组件、哪些仍留在内部，以及 vLLM 复现结果如何限定其效率优势。