先了解这件事
OpenAI 开发者账号宣布,API 现在可以选择 12 小时提示词缓存:共享的指令、工具和上下文可以缓存更长时间,即使请求间隔数小时,也仍按更低的缓存输入价格计费。
OpenAI 员工 Tibo 补充称,在 Codex 与 Work 中,已登录用户的缓存会永久保留;返回旧对话或数小时后恢复会话,保证命中缓存,且没有额外惩罚。这一说法针对的是 Codex 与 Work 的已登录用户,与 API 的 12 小时选项是两套安排。
AI 根据报道生成 · 27 天前更新最新进展
OpenAI API 支持 12 小时 prompt 缓存,Codex 与 Work 用户缓存永久保留