✨ Issue #21796 (labeled): App-server sessions need stable prompt-cache key support for identical sta

背景：Prompt Cache 技术与 Codex CLI 的高效之道

在现代 AI 应用开发中，Prompt Cache（提示词缓存）技术已经成为提升大语言模型推理效率的关键手段。这项技术的核心理念相当优雅：当模型需要处理大量相似请求时，通过识别和复用之前处理过的上下文内容，可以显著减少计算资源的消耗，同时加快响应速度。对于像 OpenAI Codex 这样的编程辅助工具而言，Prompt Cache 的意义更为深远——开发者往往会在一个项目中进行多次代码补全、解释或重构操作，这些操作虽然具体内容不同，但往往会共享相同的背景上下文。

Codex CLI 作为 OpenAI 官方推出的命令行工具，为开发者提供了直接通过终端与 Codex 模型交互的能力。在版本 0.129.0 中，Codex CLI 引入了 app-server 模式，允许用户启动一个本地服务来接收和处理请求。这种架构设计特别适合集成到其他开发工具、IDE 插件或自定义工作流中。然而，正是这种灵活的使用方式，暴露出了一个关于 Prompt Cache 稳定性的技术问题。

问题本质：相同上下文的缓存失效现象

根据 Issue #21796 的描述，问题的表现形式如下：在使用 Windows 平台的 Codex app-server 过程中，当一个外部多会话编排器（multi-session orchestrator）通过客户端向不同的新鲜会话发送完全相同的启动上下文时（字节级别的一致性），这些独立的新会话并没有获得预期的第一轮 Prompt Cache 复用。

独立的新鲜 Codex app-server 会话似乎无法在客户端发送完全相同的稳定启动上下文时获得完整的第一轮提示词缓存复用。从多会话 app-server 工作流中的本地检测可以看出……

这句话揭示了问题的关键矛盾。理论上，如果两个请求携带的上下文内容完全一致（byte-for-byte identical），模型应该能够识别出这种重复，并充分利用 Prompt Cache 来避免重复处理相同的上下文。但在实际的多会话编排场景中，这个预期行为并未发生。

这个问题的重要性在于，它直接影响了大企业在生产环境中使用 Codex 的成本效益和多会话管理策略。许多组织会构建统一的会话管理平台，期望通过标准化启动上下文来优化 API 调用成本。当 Prompt Cache 无法按预期工作时，这些优化策略就会失效，导致不必要的计算资源浪费和更高的运营成本。

技术剖析：Prompt Cache 的工作机制与“稳定键”需求

要理解这个问题，我们需要深入探讨 Prompt Cache 的底层实现机制。当代大语言模型的 Prompt Cache 并不是简单地将完整的上下文文本存储起来等待复用，而是涉及到一套复杂的内容分析和相似性匹配系统。

在传统方案中，缓存键（Cache Key）的生成通常依赖于以下几个因素：请求的哈希值、上下文的语义嵌入向量、以及模型特定的处理版本号。当客户端发送一个包含上下文的请求时，服务器端会：

1. 对上下文内容进行预处理和规范化
2. 计算该上下文的特征向量或哈希值
3. 与已缓存的条目进行匹配
4. 如果匹配成功，则复用缓存的处理结果

问题出在第三步的匹配过程中。当我们谈论“稳定”的 Prompt Cache 键时，实际上是在要求：对于完全相同的输入内容，系统必须始终生成相同的缓存键，并且这个键在不同的会话之间能够被正确识别和匹配。

但在 app-server 的多会话场景中，情况变得复杂起来。每个新启动的会话都可能维护着自己的缓存状态和会话历史。当外部编排器同时管理多个会话时，需要确保：

• 不同的会话实例能够共享底层的缓存存储
• 缓存键的生成算法在所有会话中保持一致
• 客户端发送的上下文在传输和解析过程中保持字节级别的稳定性

根据 Issue 的描述，问题很可能出在第一个或第二个环节。具体来说，可能存在以下几种情况：app-server 在处理新会话的首次请求时，对上下文的预处理方式与预期不同；或者缓存存储的隔离机制导致不同会话无法访问彼此的缓存条目；又或者上下文在序列化传输过程中发生了细微的变化。

多会话编排场景的特殊挑战

当 Codex CLI 以 app-server 模式运行时，它实际上充当了一个请求接收和处理的中间层。在这种架构下，外部编排器负责创建和管理多个逻辑会话，每个会话都需要独立的状态管理和上下文维护。

考虑这样一个典型的企业级工作流：一个代码审查平台集成了 Codex CLI，期望为每个代码仓库或每个开发团队维护独立的会话上下文。当开发者提交代码审查请求时，平台会：

// 简化的多会话编排器伪代码
class CodexSessionOrchestrator {
    private Map<String, CodexSession> sessions;

    public Response processRequest(Request request) {
        String sessionKey = generateSessionKey(request);

        if (!sessions.containsKey(sessionKey)) {
            // 创建新会话，使用标准化的启动上下文
            sessions.put(sessionKey, createSession(request.getBaseContext()));
        }

        CodexSession session = sessions.get(sessionKey);
        return session.process(request);
    }
}

在这个场景中，如果每个新会话都从相同的标准化启动上下文开始，理论上 Prompt Cache 应该能够识别出重复的上下文内容，从而复用之前的计算结果。然而，Issue #21796 表明这个预期并未实现。

这意味着在某个环节，系统的缓存识别机制出现了偏差。可能的原因包括但不限于：

会话初始化时的元数据差异导致缓存键的计算结果不同；时间戳或随机种子的引入破坏了上下文的一致性；或者缓存存储的位置在会话创建时被错误地隔离，导致跨会话的缓存查找失败。

影响评估：成本与性能的双重损失

这个问题的影响范围可以从两个维度来分析：成本影响和性能影响。

在成本方面，Prompt Cache 的直接价值在于减少实际 token 的处理量。当缓存命中时，API 调用的计费通常会显著降低（根据 OpenAI 的定价模型，缓存命中的 token 成本通常只有正常推理 token 成本的十分之一左右）。如果缓存机制失效，组织将不得不为每次请求支付完整的 token 处理费用。对于日处理量达到数万次请求的企业用户来说，这种差异可能意味着每月数千甚至数万美元的额外支出。

在性能方面，Prompt Cache 的另一个重要价值是降低首 token 产生的延迟（Time to First Token, TTFT）。当缓存生效时，模型可以直接从缓存中获取结果，无需重新处理整个上下文。这对于需要快速响应的交互式应用场景尤为重要。在多会话编排场景中，如果每个新会话都需要重新处理相同的启动上下文，不仅会增加延迟，还会造成计算资源的浪费。

更严重的是，这个问题会动摇多会话管理策略的设计基础。如果无法依赖 Prompt Cache 来优化重复上下文的处理，那么组织可能需要：

• 放弃共享标准启动上下文的做法，改为每个会话维护独特的上下文
• 增加会话复用策略，减少新会话的创建频率
• 在客户端层面实现额外的缓存层，自行管理上下文去重

这些变通方案都会增加系统复杂度和维护成本，远不如在服务端解决来得直接有效。

技术解决方案与未来展望

针对 Issue #21796 描述的问题，OpenAI 团队需要从几个层面进行排查和修复。

首先，需要确认 Prompt Cache 的键生成算法是否足够稳定。这包括检查是否有意或无意的随机因素被引入到键的计算过程中，以及确认相同的输入是否能够可靠地产生相同的键值。

其次，需要验证 app-server 在多会话场景下的缓存共享机制。如果每个会话都维护独立的缓存存储，那么跨会话的缓存复用就无法实现。解决方案可能是引入共享的缓存存储层，或者改进缓存查找逻辑以支持跨会话查询。

第三，需要关注传输层的一致性保证。当外部编排器发送请求时，上下文内容在序列化、传输和反序列化的过程中必须保持字节级别的稳定。任何不可见字符、编码差异或格式化变化都可能导致缓存键的改变。

// 可能的修复方向示例
class CacheKeyGenerator {
    private static final String SALT = "codex-cli-v0.129.0";

    public static String generateKey(Context context) {
        // 1. 规范化上下文内容
        String normalized = normalizeContext(context);

        // 2. 添加稳定盐值
        String salted = SALT + normalized;

        // 3. 计算确定性哈希
        return sha256(salted);
    }

    private static String normalizeContext(Context ctx) {
        // 移除不确定因素如时间戳、随机ID等
        return ctx.getContent()
                  .replaceAll("\\s+", " ")
                  .trim();
    }
}

从长远来看，Prompt Cache 技术的进一步发展可能会引入更智能的缓存策略。例如，基于语义相似性的缓存匹配可以识别即使在字面上不完全相同，但在语义上等价的上下文。这种方案虽然技术上更复杂，但能够提供更高效的缓存利用率。

总结与建议

Issue #21796 揭示了 Codex CLI 在企业级多会话应用场景中的一个重要技术障碍。Prompt Cache 作为提升效率的关键机制，其稳定性和可靠性直接影响到用户体验和运营成本。当相同的启动上下文无法获得预期的缓存复用时，整个多会话管理策略的有效性都会受到质疑。

对于正在使用或计划使用 Codex app-server 的开发者和组织，建议密切关注 OpenAI 官方的更新和修复。同时，在等待官方解决方案期间，可以考虑以下临时措施：

• 减少新会话的创建频率，尽量复用现有会话
• 在客户端实现请求去重和缓存逻辑
• 与 OpenAI 技术支持团队保持沟通，反馈实际使用中的发现

大语言模型的 Prompt Cache 技术仍在快速演进中，类似的问题和解决方案都会在实践中不断涌现。保持对技术细节的深入理解，将有助于更好地利用这些工具构建高效、可靠的应用系统。

来源：OpenAI | 原文：https://github.com/openai/codex/issues/21796

📢 来源：OpenAI | 原文：https://github.com/openai/codex/issues/21796