背景：为什么提示缓存对多会话应用至关重要
在当今人工智能辅助开发领域，代码补全和智能编程助手已经成为提升开发者生产力的关键工具。OpenAI 的 Codex 作为这一领域的标杆产品，其每一次版本迭代都牵动着无数开发者的心弦。2024年末，OpenAI 发布了 Codex CLI 0.129.0 版本，伴随着 gpt-5.3-codex-spark 模型的能力加持，Codex 在代码理解、补全质量和响应速度方面都实现了质的飞跃。然而，随着企业级开发和大型软件团队对 AI 编程助手的需求日益增长，一个长期困扰着多会话架构设计者的核心问题逐渐浮出水面——如何在 app-server 模式下实现稳定且高效的提示缓存机制。
想象这样一个典型的企业应用场景：一家拥有数百名开发者的科技公司，正在构建一个基于 Codex 的内部代码审查平台。该平台需要同时处理来自不同开发者的多个并发会话，每个会话都需要加载相同的项目上下文——包括代码规范、团队约定、代码库结构等固定信息。在传统模式下，这意味着即使两个会话处理的是完全相同的初始化上下文，Codex 也不得不为每个新会话重新计算和缓存这些内容，造成了严重的计算资源浪费和响应延迟。
这个问题在 Windows 平台上通过外部多会话编排器使用 Codex app-server 时表现得尤为突出。根据 GitHub Issue #21796 的报告，用户发现独立的新鲜 Codex app-server 会话即使在客户端逐字节发送完全相同的稳定启动上下文时，也无法获得完整的第一轮提示缓存重用效果。这一发现揭示了当前 Codex CLI 在多会话缓存管理方面的局限性，也为 OpenAI 的工程团队指明了优化方向。
本文将深入剖析这一问题的技术本质，探讨提示缓存机制在大型语言模型服务中的核心作用，分析当前实现的技术瓶颈，并展望 OpenAI 可能在未来版本中引入的解决方案。我们将从架构设计、缓存失效机制、性能优化策略等多个维度，为读者呈现一个全面的技术图景。
—
技术原理：大型语言模型提示缓存的核心机制
#### 提示缓存的基本概念与工作原理
提示缓存（Prompt Cache）是一种旨在减少大型语言模型重复计算开销的技术。在传统的 LLM 推理过程中，每次用户发送请求时，系统都需要对输入提示进行完整的处理——包括分词、嵌入计算、注意力机制的应用等。这些计算过程，尤其是 transformer 架构中的自注意力计算，其计算复杂度与输入序列长度的平方成正比。当多个请求共享相同的系统提示或上下文前缀时，如果能够将这些公共部分的计算结果缓存起来供后续请求复用，将能够显著降低平均计算成本和首 token 延迟。
现代大型语言模型的提示缓存机制通常基于 KV Cache（Key-Value Cache）技术实现。在 transformer 的自注意力层中，每个 token 都会产生对应的 Key 向量和 Value 向量，这些向量构成了注意力计算的基础。当模型处理一个序列时，可以将已经计算完成的 KV 对缓存起来，当处理后续相同前缀的序列时，直接从缓存中读取这些向量，而无需重新计算。这种机制在单次会话内的多轮对话中表现尤为出色——用户的后续消息可以复用对话历史的 KV 缓存，实现快速响应。
然而，当我们将视角扩展到多会话场景时，情况变得复杂起来。不同会话之间虽然可能共享相同的系统提示或初始化上下文，但由于会话标识符、时间戳、随机种子等变量的存在，缓存键的生成变得困难重重。在理想情况下，如果两个会话的初始化上下文完全相同，系统应该能够识别出这一点并复用缓存；但在实践中，由于各种技术限制，这种“完美”的跨会话缓存复用往往难以实现。
#### App-Server 架构下的缓存管理挑战
Codex 的 app-server 模式是 OpenAI 为企业级应用设计的一种部署方案，允许用户通过远程 API 调用的方式使用 Codex 的强大能力。在这种架构下，客户端与服务端之间通过 HTTP 或其他网络协议进行通信，客户端发送包含完整上下文的请求，服务端则负责加载模型、执行推理并返回结果。
对于 app-server 而言，多会话缓存管理面临的核心挑战在于如何定义和识别“相同”的上下文。在单会话场景下，上下文的历史顺序是确定的，系统可以简单地按照位置索引来定位缓存的 KV 对。但在多会话场景下，每个会话都是独立创建的，上下文结构可能存在差异，服务端需要一种可靠的方式来判断两个请求是否可以共享缓存。
这引出了“稳定提示缓存键”（Stable Prompt Cache Key）的概念。一个理想的缓存键应该具备以下特性：确定性——相同内容总是生成相同的键；敏感性——不同内容应生成不同的键；以及稳定性——在不相关的变更（如添加注释、调整格式）不应影响缓存命中。在实际实现中，生成这样的缓存键通常需要对输入进行规范化处理，如去除空白字符、统一编码格式、移除无关元数据等。
Issue #21796 中提到的问题正是在这一层面出现的。尽管客户端发送了“字节对字节”完全相同的稳定启动上下文，但 Codex app-server 仍然无法实现完整的第一轮提示缓存重用。这暗示着当前实现可能存在以下几种可能性：服务端在接收请求时对内容进行了某种不可见的预处理，导致实际存储的键与客户端预期不一致；或者缓存键的生成机制依赖于某些会话级别的变量，而非纯粹基于上下文内容；又或者第一轮提示缓存的实现在架构上存在设计缺陷，导致跨会话复用存在技术障碍。
#### KV Cache 在推理服务中的技术实现
从更底层的技术视角来看，KV Cache 的管理和复用涉及推理服务系统的多个组件协同工作。在典型的 LLM 推理服务（如 vLLM、TensorRT-LLM 或 OpenAI 自研的推理引擎）中，KV Cache 的存储和检索通常遵循以下流程：
请求到达 → 上下文解析 → 缓存键生成 → 缓存查找 →
├─ 命中：复用缓存的 KV 对 → 继续推理
└─ 未命中：重新计算 KV 对 → 存储结果到缓存在这一流程中，缓存键的生成是关键环节。一种常见的做法是对输入序列进行哈希计算，将哈希值作为缓存键。这种方法简单高效，但面临哈希碰撞的风险，尤其是在输入空间巨大的情况下。另一种做法是使用更复杂的键结构，包含内容哈希、会话 ID、时间戳等多个维度，以支持更细粒度的缓存管理。
对于 Codex 这样的代码智能助手而言，提示缓存的重要性更加突出。代码补全任务通常涉及大量的上下文信息——包括文件内容、代码结构、项目配置等——这些信息可能占据数万个 token 的空间。如果能够有效地缓存这些公共上下文，将能够显著减少首次响应的延迟，提升用户体验。
—
核心问题：为什么跨会话缓存复用如此困难
#### 上下文规范化与预处理的双刃剑效应
在分析 Issue #21796 的过程中，一个关键的技术细节引起了我们的注意：问题描述中特别强调了“字节对字节完全相同的稳定启动上下文”。这一表述暗示，问题可能并不在于客户端发送的内容本身，而在于服务端对内容的处理方式。
大型语言模型服务在接收到输入后，通常会进行一系列预处理操作，以提高推理效率和输出质量。这些预处理可能包括：文本规范化（如 Unicode 标准化、空白字符标准化）、分词器特定的处理（如特殊 token 的插入或替换）、以及针对特定领域内容的结构化处理（如代码的语法树构建或依赖分析）。
当预处理操作不一致地应用于不同会话的相同输入时，就会导致缓存键的不匹配。例如，如果预处理逻辑依赖于某些动态生成的变量（如请求 ID、时间戳或随机数），即使输入内容完全相同，生成的缓存键也会不同。更隐蔽的问题是，如果预处理逻辑本身存在非确定性的行为（如依赖于内部缓存状态或并发执行的顺序），那么相同输入在不同时间点到达时可能产生不同的处理结果。
#### 会话状态与缓存隔离的权衡
在多租户的 API 服务中，会话隔离是一个重要的安全考量。每个用户的会话数据应该被严格隔离，防止未授权的访问和数据泄露。这种隔离需求在一定程度上与缓存共享的目标相冲突——如果过度强调隔离，可能导致即使在应该复用的场景下也无法实现缓存复用。
Codex app-server 在设计时可能采用了较为保守的缓存策略，将会话级别的隔离置于缓存效率之上。例如，缓存键可能默认包含会话 ID 或用户标识符作为组成部分，确保不同用户的会话绝对不会意外共享缓存。虽然这种设计在安全层面是合理的，但在用户期望共享相同公共上下文的不同会话之间，却造成了不必要的重复计算。
从 Issue 的描述来看，用户采用的是“外部多会话编排器”架构，这种架构通常意味着有专门的服务层在管理多个 Codex 会话的创建和协调。在这种场景下，编排器可能期望能够显式地控制哪些会话可以共享缓存，或者希望能够通过某种机制告诉 Codex 某些上下文是“稳定”的，应该被优先复用。
#### 第一轮提示缓存的特殊性
在多轮对话系统中，“第一轮”提示的处理通常有其特殊性。作为会话的起点，第一轮提示往往包含最丰富的上下文信息——系统指令、用户背景描述、任务定义等。后续轮次的提示则相对简洁，通常只包含用户的新输入和之前的对话摘要。
缓存策略通常会针对这种不对称性进行优化：投入更多资源来缓存第一轮提示的处理结果，因为这些结果可能被后续多轮对话反复复用。然而，Issue #21796 反映的问题恰恰出现在“第一轮”提示的缓存上——即使用户发送的是完全相同的初始化上下文，新会话也无法复用之前会话的缓存结果。
这一现象暗示，问题可能出在第一轮提示缓存的跨会话共享机制上。在一些实现中，第一轮提示的处理结果可能存储在会话级别的缓存中，而非全局可访问的缓存池中。这样设计可能是出于简化缓存管理的目的，但也牺牲了跨会话缓存复用的可能性。
—
技术影响：提示缓存对性能与用户体验的深远意义
#### 延迟优化：从秒级到毫秒级的跨越
在 AI 辅助编程场景中，响应延迟对用户体验有着决定性的影响。当开发者期待 Codex 提供代码补全建议时，任何显著的延迟都会打断思路、降低效率。根据人机交互研究，当系统响应时间超过 100-200 毫秒时，用户通常会开始感知到延迟的存在；而当延迟超过 1 秒时，交互体验将受到严重影响。
提示缓存对延迟优化的贡献可以从两个层面来理解。首先，对于单个会话内的多轮对话，第一轮提示的缓存复用可以将后续轮次的“思考”时间从秒级降低到毫秒级。模型无需重新处理可能长达数万 token 的上下文，只需专注于用户新输入的处理。其次，在多会话场景下，跨会话的缓存复用意味着新会话可以从“热身”状态开始，省去冷启动时的高计算开销。
以一个典型的代码补全场景为例：假设项目上下文占据 8000 个 token，每个 token 的处理需要约 0.5 毫秒（考虑到 GPU 并行处理的效率），那么仅上下文处理就需要约 4 秒。加上实际的推理计算，首 token 延迟可能达到 5-10 秒。而在有效的缓存机制下，这个延迟可以降低到几百毫秒甚至更短，用户几乎可以立即获得补全建议。
#### 计算资源与成本的节约
从服务提供者的角度来看，提示缓存的优化还意味着计算资源的节约。大型语言模型的推理是极其消耗计算资源的过程，需要大量的 GPU 内存和算力。通过缓存复用，可以在以下几个方面实现成本优化：减少重复的矩阵运算，降低 GPU 利用率；减少模型权重的加载次数，延长硬件寿命；以及通过更少的总计算量服务更多的请求，提高系统的吞吐量。
对于 OpenAI 这样的商业 API 服务提供商而言，每一次请求的计算成本都与公司的利润直接相关。有效的提示缓存策略不仅能够提升用户体验，还能够优化资源利用率、降低服务成本，从而在激烈的市场竞争中保持优势。Issue #21796 的提出，从某种程度上也反映了用户对更高效、更经济的多会话 API 使用方式的期望。
#### 开发者工作流与集成场景的优化
在企业级应用场景中，Codex 通常不是独立运行的，而是作为更大型开发工具链的一部分被集成。例如，IDE 插件、代码审查系统、自动重构工具等都可能需要调用 Codex 的能力。在这些集成场景中，多会话的管理和协调是一个常见的需求。
考虑一个代码审查自动化的例子：一个系统需要同时处理多个代码库的审查请求，每个请求都需要加载相同的项目规范和代码风格指南。如果没有有效的跨会话缓存，每个新请求都需要重新处理这些公共信息，导致处理时间长、资源消耗大。而有了稳定的提示缓存键支持，系统可以预先处理一次公共上下文，然后高效地处理多个具体请求。
Issue #21796 的提出者正是基于这样的应用场景，提出了对“稳定提示缓存键”的需求。通过支持显式的缓存键配置或基于内容稳定性的自动识别，多会话编排器可以实现更精细的缓存管理策略，平衡隔离性和效率的需求。
—
未来展望：OpenAI 可能的技术演进方向
#### 显式缓存键与内容寻址机制
针对 Issue #21796 提出的需求，OpenAI 最直接的技术响应可能是引入一种显式的缓存键指定机制。在这种设计下，客户端可以在请求中包含一个可选的缓存键标识符，服务端将根据这个标识符来管理缓存的创建和复用。
更优雅的方案是采用内容寻址（Content Addressing）的方式：服务端自动计算输入内容的稳定哈希值作为缓存键，并通过规范化处理确保相同语义的内容生成相同的键。这种方式对客户端透明，无需修改请求格式，但需要服务端实现一套完善的上下文规范化逻辑。
// 可能的 API 扩展
{
"prompt": "...",
"cache_control": {
"mode": "stable", // 指示服务端使用稳定键策略
"prompt_prefix": true // 专门缓存提示前缀
}
}内容寻址机制需要解决几个技术挑战。首先是规范化的边界问题：客户端和服务端必须对“相同内容”的定义达成一致，否则即使客户端认为内容相同，服务端也可能生成不同的键。其次是隐私和安全考量：如果缓存键是基于内容哈希的，恶意用户可能通过枚举试探来发现其他用户请求的缓存内容。最后是缓存一致性问题：当模型版本更新或配置变更时，旧的缓存可能不再适用，需要相应的失效机制。
#### 分层缓存架构与智能预热
另一个可能的技术方向是采用分层缓存架构，将不同生命周期的缓存存储在不同的层级中。热缓存层存储最近使用的 KV 对，访问速度最快但容量有限；温缓存层存储访问频率较低但仍可能有价值的结果；冷存储层则保存更长时间未被访问的缓存，供将来可能的复用。
在这种架构下，第一轮提示的缓存可以享受更长的生命周期，因为它们通常在多个会话中都有价值。服务端可以实现智能预热策略，在系统低负载时主动预加载可能即将被使用的热门上下文，进一步提升缓存命中率和响应速度。
#### 开放缓存 API 与客户端协同优化
从生态系统建设的角度来看，OpenAI 还可能开放更底层的缓存管理 API，让客户端能够更精细地控制缓存行为。这种 API 可能包括：缓存预加载接口，允许客户端提前准备好特定上下文；缓存锁定接口，防止重要的缓存被意外驱逐；以及缓存状态查询接口，让客户端了解当前缓存的命中情况。
通过这些开放接口，复杂的编排器可以实现更高级的缓存策略。例如，编排器可以维护自己的缓存索引，在创建新会话时优先选择与已有会话共享上下文；或者实现缓存失效通知机制，在项目代码变更时主动使相关缓存失效。
—
总结：多会话智能缓存的时代即将到来
Issue #21796 的提出，折射出了 AI 代码助手从单点工具向企业级平台演进过程中的关键技术挑战。在这一演进过程中，如何高效地管理多会话场景下的上下文和缓存，是一个既涉及底层系统架构，又影响上层用户体验的核心问题。
通过本文的分析，我们可以看到，当前 Codex CLI 在提示缓存方面的主要瓶颈在于缺乏跨会话的缓存键稳定机制。即使客户端发送完全相同的初始化上下文，服务端也可能由于预处理不一致、会话隔离策略或第一轮提示的特殊处理而无法实现缓存复用。这一问题在高并发、多会话的企业应用场景下尤为突出，严重影响了系统的响应速度和资源效率。
值得期待的是，OpenAI 显然已经注意到了这一需求，并将其标记为有价值的 Issue 进行跟踪。展望未来，我们有望看到更完善的解决方案：可能是基于内容寻址的自动缓存键生成，可能是分层缓存架构带来的性能提升，也可能是开放 API 赋予客户端的更精细控制能力。无论具体实现方式如何，可以确定的是，多会话智能缓存将成为下一代 AI 编程助手的标配特性，为开发者带来更加流畅、高效的使用体验。
对于当前受此问题困扰的开发者和企业而言，一个可行的临时方案是在客户端层面实现上下文缓存的共享逻辑——例如，维护一个包含常用提示模板的库，并在发送请求时确保使用完全一致的上下文内容。虽然这种方式无法解决服务端层面的根本问题，但可以在一定程度上缓解体验上的不便。同时，关注 OpenAI 对此 Issue 的后续响应和 Codex CLI 的版本更新，也是跟进解决方案的重要途径。
在这个 AI 与软件开发深度融合的时代，每一次技术细节的优化都可能带来用户体验的显著提升。提示缓存机制的完善，不仅关乎性能和成本，更是 AI 编程助手走向成熟企业级方案的必经之路。让我们拭目以待，见证 Codex 在这一领域的持续进化。
来源：OpenAI | 原文：https://github.com/openai/codex/issues/21796
📢 来源：OpenAI | 原文：https://github.com/openai/codex/issues/21796
评论区