DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
DeepSeek 开源了支撑 V4.1 Flash 的生产推理框架 DeepInfer，并披露单集群日处理 155T tokens、96% 输入缓存命中、非高峰时段每加速器小时 38 美元收入等数据。
推荐理由：读者可看到 DeepInfer 公开了哪些生产推理组件、哪些仍留在内部，以及 vLLM 复现结果如何限定其效率优势。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
6 条精选近 30 天 6 条共收录 129 条
更新
部署工程的精选
Latent Space精选AI 评分7878
Hugging Face Blog精选AI 评分6262 PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持，并让 MoE 模型解码比 2.14 快 5–6.5 倍，Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由：原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字，可据此判断 Mac 本地跑模型的实际变化。
量子位精选AI 评分7878 清华 THUNLP 联合面壁智能开源智能体操作系统 PilotDeck 2.0
清华大学 THUNLP 实验室联合面壁智能、OpenBMB 等团队开源智能体操作系统 PilotDeck 2.0，以 WorkSpace 工作舱隔离各项目的文件、记忆与任务，记忆支持查看、修改和删除。
推荐理由：原文给出了白盒记忆、后台执行和智能路由的具体机制与成本对比数据，可据此判断多项目 Agent 工作流的组织方式。
Hugging Face Blog精选AI 评分7878 Meta 发布开源权重多模态 MoE 模型 Muse Spark Open
Meta 发布开源权重模型 Muse Spark Open，采用 MoE 架构，总参数约 816B、每 token 激活约 42B，上下文窗口最高 100 万 token，可接收文本、图像、音频和视频输入并输出文本。
推荐理由：原文给出 816B 总参数、42B 激活的 MoE 架构与多模态输入细节，并附 vLLM、SGLang、llama.cpp 部署和 TRL 微调配方。
Hugging Face Blog精选AI 评分7171 Liquid AI 发布 LFM2.5-24B-A2B 端侧推理智能体模型
Liquid AI 发布 LFM2.5-24B-A2B，这是一个 24B 参数、每 token 仅激活 2B 的推理模型，面向端侧运行私有智能体，会先思考再作答并调用工具。
推荐理由：原文给出与更大 MoE 模型的逐项基准对比和端侧推理速度，可据此判断本地智能体的可行边界。
NVIDIA Blog精选AI 评分6262 NVIDIA RTX Spark 笔记本上市前，生态伙伴推送本地 AI 软件更新
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，最高 128GB 统一内存和 1 petaflop AI 算力，生态伙伴同步推送本地 AI 软件更新。
推荐理由：原文列出 RTX Spark 上市前生态伙伴的软件更新清单，读者可据此了解本地智能体在 PC 上的落地形态。