AWS Machine Learning Blog· Claudio Mazzoni·· 4 天前AI 评分50
告别“土拨鼠之日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 导读
针对 AI 智能体每轮都要重读全部上下文的“土拨鼠之日”困境，Amazon Bedrock 的提示词缓存可复用已保存的 KV 状态，只对新增内容计费。缓存支持隐式与显式两种模式，显式模式通过 prompt_cache_breakpoint 标记可复用前缀，且前缀需达到 1,024 tokens 才生效。
来源：AWS Machine Learning Blog · aws.amazon.com