跳到正文
  1. Hugging Face Blog62

    PyTorch 2.15 为 MPS 后端带来 FP8 与更快的 LLM 解码

    PyTorch 2.15 在 MPS 后端加入 FP8 张量支持,并让 MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s。

    推荐理由:原文给出 MPS 后端在 FP8、MoE 解码和视频 VAE 显存上的具体数字,可据此判断 Mac 本地跑模型的实际变化。

  1. Hugging Face Blog78

    Meta 发布开源权重多模态 MoE 模型 Muse Spark Open

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,可接收文本、图像、音频和视频输入并输出文本。

    推荐理由:原文给出 816B 总参数、42B 激活的 MoE 架构与多模态输入细节,并附 vLLM、SGLang、llama.cpp 部署和 TRL 微调配方。

  1. Hugging Face Blog71

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理智能体模型

    Liquid AI 发布 LFM2.5-24B-A2B,这是一个 24B 参数、每 token 仅激活 2B 的推理模型,面向端侧运行私有智能体,会先思考再作答并调用工具。

    推荐理由:原文给出与更大 MoE 模型的逐项基准对比和端侧推理速度,可据此判断本地智能体的可行边界。

  1. NVIDIA Blog62

    NVIDIA RTX Spark 笔记本上市前,生态伙伴推送本地 AI 软件更新

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市,最高 128GB 统一内存和 1 petaflop AI 算力,生态伙伴同步推送本地 AI 软件更新。

    推荐理由:原文列出 RTX Spark 上市前生态伙伴的软件更新清单,读者可据此了解本地智能体在 PC 上的落地形态。

已经到底了