Hugging Face提出MoE专家剪枝方法HOPE

Hugging Face 提出 HOPE（Higher-Order Pruning of Experts），一种考虑专家两两交互的二阶 MoE 专家剪枝方法，并发布了代码包。据其博客称，在 50% 剪枝率下，HOPE 的平均排名优于所有对比方法，在智能体编程任务上比次优方法最高提升 6.1%。 该方法优势在 40%–50% 的较高剪枝率下最明显；在 10%–20% 的较低剪枝率下，REAP、MAN 等一阶方法有时更具竞争力，HOPE 的优势缩小。代码包已在 Qwen3、Qwen3-Next、Qwen3.5 和 GLM-4.5 上测试。 上述效果均为提出方在博客中的说法，尚待独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。