跳到正文
  1. 量子位71

    岩芯矩阵联合港科大、CMU开源EdgeRock-4B,KV Cache减少99.1%

    岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,在256K上下文下KV Cache固定为72MiB,相比源模型Qwen3.5-4B减少99.1%。

    推荐理由:原文给出固定内存机制与吞吐、基准数据,读者可据此判断长上下文推理的显存成本能压到什么程度。

已经到底了