量子位· 一水·· 5 天前精选AI 评分71
岩芯矩阵联合港科大、CMU开源EdgeRock-4B，KV Cache减少99.1%
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B，在256K上下文下KV Cache固定为72MiB，相比源模型Qwen3.5-4B减少99.1%。
推荐理由
原文给出固定内存机制与吞吐、基准数据，读者可据此判断长上下文推理的显存成本能压到什么程度。
来源：量子位 · qbitai.com