上下文工程四机制:破解长周期任务中的上下文溢出与目标丢失
本文剖析AI智能体在长周期、多步骤任务中失效的根本原因——并非模型能力不足,而是上下文管理缺失。AWS等厂商将解决层定义为‘harness’(编排层),并提出四大核心机制:上下文预算与卸载、压缩、记忆策略、待办-状态同步。多家主流Agent框架已落地实践,且设定了明确的量化阈值。
智能体失效的根源不在模型,而在编排层
最简化的AI智能体即大语言模型(LLM)循环调用工具。该模式适用于短时任务;但当任务持续一小时、需执行200次工具调用时,系统会以两种可预测方式崩溃:上下文溢出(context overflow)与目标丢失(goal loss)。AWS《自主云编码智能体设计指南》直指问题本质——浅层智能体无法在长时间跨度中维持状态,而修复关键不在于更换更大模型,而在于‘harness’(编排层):即管理模型之外一切要素的基础设施层。
为何扩大上下文窗口治标不治本?
增大上下文窗口看似直接,实则收效有限。Chroma《上下文衰减报告》评估了包括GPT-4.1、Claude 4、Gemini 2.5和Qwen3在内的18个LLM,发现即使在简单检索任务中,性能也随输入长度增长而显著不可靠。Anthropic指出其机理:注意力机制产生n²级token两两关系,每个新增token都在消耗有限的‘注意力预算’。上下文是边际收益递减的资源,而非可无限填充的容器。对智能体循环而言情况更严峻:Manus数据显示,典型任务约需50次工具调用,且输入-输出token比接近100:1;每次观测结果均滞留上下文,原始指令被推至窗口中部——这恰是模型回忆能力最弱的位置。目标丢失因此不是模型缺陷,而是长任务中未加管控的上下文的必然结果。
机制一:上下文预算与卸载
harness首要职责是决定哪些内容永不进入上下文窗口。Deep Agents设定了两条硬性卸载规则:工具响应超20,000 token时,写入文件系统,仅保留路径+前10行预览;会话上下文达模型窗口容量85%时,对已落盘的写/编辑类工具调用,截断为指针。仅当卸载空间耗尽后,才启用摘要。
Claude Code将预算逻辑前置至首次提示加载阶段:自动内存上限为前200行或25KB;MCP工具模式默认延迟加载,仅列工具名,完整模式按需通过工具搜索加载;经压缩后,任何重读文件若超5,000 token,均以路径引用替代内容。其文档中的上下文模拟清晰呈现效果:研究子智能体读取6,100 token文件后,仅向父智能体返回420 token结论——此即架构级预算。Anthropic指出,单个子智能体探索可能消耗数万token,但输出摘要通常仅1,000–2,000 token。AWS AgentCore正采用此范式:协调器并行启动3个浏览器子智能体(各运行于独立MicroVM),再由分析子智能体接收其结构化结果。AWS称该并行流程预期耗时4–6分钟,而串行处理则需长达3倍时间。
机制二:压缩(Compaction)
当卸载仍不足时,harness启动压缩:对逼近窗口极限的对话进行摘要,并以摘要为起点重启新上下文。这也是目标丢失高发环节——有损摘要极易遗漏关键约束。各实现对‘必须保留什么’有不同承诺。
Claude Code的压缩提示词明确保留架构决策、未解决缺陷及实现细节,剔除冗余工具输出;压缩后立即重读最近修改的最多5个文件,重新加载匹配规则,并注入已调用技能体(单技能≤5,000 token,总计≤25,000 token)。文档坦承:早期详细指令可能丢失,故持久化规则应置于项目根目录CLAUDE.md中,该文件从磁盘重新注入。用户可通过`/compact focus on the auth bug fix`引导摘要重点,或用`/autocompact`调整触发时机。
Deep Agents则将目标保持结构化:其摘要为含固定字段的结构化文档,专设‘会话意图’‘产出物’‘下一步’三栏。LangChain团队在强制摘要实验后加入该设计,实测显著提升性能。原始完整对话亦同步写入文件系统,后续可通过`read_file`指令恢复曾被摘要省略的事实。
编者观点:中国企业构建生产级AI智能体,亟需将‘harness’作为独立技术栈投入研发,而非仅聚焦模型选型或提示词优化;上下文预算、压缩、状态同步等机制的量化阈值设定,正是工程化落地的关键分水岭。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MarkTechPost) →