AWS 介绍 Bedrock 上 OpenAI 模型提示缓存用法

AWS 发布教程，介绍在 Amazon Bedrock 上调用 OpenAI 模型时如何使用提示词缓存：智能体可复用已处理的工具定义、指令和历史前缀，避免每轮重复计费。缓存分隐式与显式两种，显式模式用 prompt_cache_breakpoint 标记前缀终点。 据该教程，可复用前缀须达到 1,024 tokens；缓存前缀最短存活 30 分钟，成功复用会刷新，也可能更久；复用需同一模型、同一 AWS 账户和区域，且存在匹配前缀。缓存写入按正常输入价格的 1.25 倍计费。 教程中的测试显示，约 4,000 tokens 的工具与指令前缀首次写入计为 4,120 tokens，后续请求直接读取该前缀。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。