岩芯矩阵联合港科大、CMU开源EdgeRock-4B,KV Cache减少99.1%
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,在256K上下文下KV Cache固定为72MiB,相比源模型Qwen3.5-4B减少99.1%。
推荐理由:原文给出固定内存机制与吞吐、基准数据,读者可据此判断长上下文推理的显存成本能压到什么程度。
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,在256K上下文下KV Cache固定为72MiB,相比源模型Qwen3.5-4B减少99.1%。
推荐理由:原文给出固定内存机制与吞吐、基准数据,读者可据此判断长上下文推理的显存成本能压到什么程度。
OpenAI 于周四向所有客户开放 Decisions API,该模型基于 ChatGPT Luna 重新配置以加快推理并降低成本,产品负责人称延迟从 1 至 3 秒缩短到 100、120、180 毫秒。
IBM 发布 Granite Switch 4.1,提供 8B 和 30B 两个版本,在同一个托管端点内同时支持自然语言对话、通用与专用决策以及语音转写。