VocabX 如何通过词表专门化将小模型推理成本降低 77%
Dharma-AI 预告即将发布的 VocabX 论文，提出按 token 成本而非词频重建领域模型词表，在基于 Qwen3-4B 的葡萄牙语作文评分器上将实测推理成本降低 77.0%，平均回复从 350 个 token 降到 101 个，bench 分数从 0.703 升到 0.810。
#推理
Hugging Face BlogAI 评分5858
AWS Machine Learning BlogAI 评分3636 vLLM 双向 KV 传输如何降低多轮智能体工作负载的 TTFT
vLLM 引入双向 KV 传输，让 decode 节点在后续轮次把已计算的 KV 缓存回传给 prefill 节点，避免重复计算对话历史。在 Amazon EC2 P5en 的 1P1D 部署上，该机制使 Qwen3-32B 的 TTFT 最高降低 1.6 倍、zai-org/GLM-5-FP8 最高降低 3.3 倍。
Hugging Face BlogAI 评分5858 IBM 发布 Granite Switch 4.1：单端点同时支持聊天、决策与语音
IBM 发布 Granite Switch 4.1，提供 8B 和 30B 两个版本，在同一个托管端点内同时支持自然语言对话、通用与专用决策以及语音转写。
Berkeley AI ResearchAI 评分3636 自适应并行推理：高效推理扩展的下一个范式
伯克利 AI 研究团队系统梳理了并行推理领域进展，重点分析自适应并行推理——让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。现有方法如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!