PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
清华大学 THUNLP 实验室联合面壁智能、OpenBMB 等团队开源智能体操作系统 PilotDeck 2.0,以 WorkSpace 工作舱隔离各项目的文件、记忆与任务,记忆支持查看、修改和删除。
推荐理由:原文给出了白盒记忆、后台执行和智能路由的具体机制与成本对比数据,可据此判断多项目 Agent 工作流的组织方式。
Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可接收文本、图像、音频和视频输入并输出文本。
推荐理由:原文给出 816B 总参数、42B 激活的 MoE 架构与多模态输入细节,并附 vLLM、SGLang、llama.cpp 部署和 TRL 微调配方。
Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧运行私有智能体,会先思考再作答并调用工具。
推荐理由:原文给出与更大 MoE 模型的逐项基准对比和端侧推理速度,可据此判断本地智能体的可行边界。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,生态伙伴同步推送本地 AI 软件更新。
推荐理由:原文列出 RTX Spark 上市前生态伙伴的软件更新清单,读者可据此了解本地智能体在 PC 上的落地形态。