跳到正文
量子位· 听雨·· 4 天前AI 评分58

百度开源文心Unlimited OCR 2,峰值KV缓存从47GB降至1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制SR-SWA与无限解码机制,在百页级单序列测试中把峰值KV缓存从47GB降至1.77GB,减少约96%。16路并发测试中端到端吞吐量从360提升至1315 Token/秒,约为标准解码的3.65倍。模型已在Hugging Face和GitHub开源,实测884页英文版《指环王》约42分56秒解析完成。

来源:量子位 · qbitai.com