PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
公司与模型
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
5 条精选近 30 天 5 条共收录 27 条
PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。
推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。
美国新实验室 Reflection 在 Hugging Face 发布首个开源模型 Beam,采用 501B 参数 MoE 架构、每 token 激活 23B,支持 1M token 上下文,Apache 2.0 许可,面向编码与智能体场景。
推荐理由:原文给出 501B MoE 模型的架构细节、多精度基准与 vLLM、SGLang 部署配方,可据此判断自托管前沿模型的硬件门槛。
Black Forest Labs 发布 FLUX.3 Image Klein,一个模型同时支持文生图、多参考图生图和用边界框做布局控制,两个开放 checkpoint 已上线 Hugging Face。
推荐理由:原文给出两个开放 checkpoint、布局控制用法和 H100 上的实测耗时,可据此判断接入成本与显存门槛。
Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧运行私有智能体,会先思考再作答并调用工具。
推荐理由:原文给出与更大 MoE 模型的逐项基准对比和端侧推理速度,可据此判断本地智能体的可行边界。
作者在 HuggingChat 中开启 ML-intern,用提示词驱动它完成数据准备、训练、评测和发布,几天内做出六个模型,总计算花费约 103 美元。
推荐理由:作者用六个真实项目拆解了给 ML-intern 写提示词的方法,包括基线、冒烟测试和预算上限的具体写法。