返回 ELI5 知识库首页 🥀 LLM CONTEXT ROT & DEGRADATION
🥀 Context Rot · Attention Dilution · Noise & Hallucination

什么是 Context Rot(上下文腐化)?

很多人以为“上下文窗口越大越好(如 100 万 Token)”;但现实是:当对话持续几十轮、塞满过时错误与冗余废话后,大模型的注意力会被严重稀释(Attention Dilution) —— 产生“答非所问、遗忘系统指令、甚至开始胡言乱语”上下文腐化(Context Rot)现象!

🧼 干净紧凑的上下文 (10k Token)

精准聚焦,注意力 100% 集中

只保留核心系统指令、关键业务知识与最近 3 步精准执行结果。大模型的注意力权重高度集中在目标上,逻辑严密、执行零偏差!

3 条核心指令 + 目标代码 零废话 · 零报错残留 🎯 命中 ✨ 智商满血 · 完美遵守所有系统铁律
  • 高信噪比(SNR):每一句话都是黄金信息
  • 响应速度极快:KV Cache 占用极小,推理成本低
VS
🥀 腐化的长上下文 (100k+ Token)

垃圾堆里找针,智商断崖下跌

塞满了 50 轮历史聊天、数万行无用报错日志、相互矛盾的临时修正。注意力被稀释成水(Softmax 抹平),AI 开始把错误当真理、胡编乱造!

🥀 充斥着过时垃圾的上下文泥潭 500行报错堆栈 ❌ 已废弃的历史方案 🗑️ ⚠️ 关键指令被淹没在中间 (Lost in the Middle) 💥 注意力稀释 · 幻觉丛生 · 忘记身份!
  • 指令失效:开头规定的格式与禁止事项全被抛诸脑后
  • 恶性循环:AI 把自己上一步产生的幻觉当成真理继续犯错
💡

一句话顿悟:为什么大模型不能无脑无限堆砌上下文?

大模型的 Self-Attention 机制计算的是所有单词对全篇其他所有单词的“相关度概率”。 当 Context 塞满 10 万字废话时,每个词分到的注意力权重被均摊到只剩0.001% —— 就像一个人在吵闹的菜市场里,根本听不清你在说什么!

拆解导致 Context Rot 的 4 大罪魁祸首

从注意力稀释到上下文修剪解法,读懂智能体长效运行之道

📉

1. Attention Dilution (注意力稀释)

Softmax 归一化总和为 100%。上下文越长,分给真正关键线索的注意力份额越微弱,导致关键约束被彻底无视。

☣️

2. 错误记忆污染 (Self-Poisoning)

AI 在第 3 轮尝试了一个错误的修复,这个错误报错留在 Context 里,导致 AI 在第 10 轮依然围绕着错误反复兜圈子!

🗜️

3. Checkpoint 阶段性摘要解法

当任务推进到一定阶段,主动触发总结(Compact),把几十轮纠结过程打包成“已完成结论”,丢弃中间废料!

✂️

4. Context Pruning (主动修剪)

高级 Agent 的自我清洁机制:动态删除上一步无用的巨大工具返回值(如 `cat` 返回的几千行原文件),保持工作台极度清爽。

🕹️ Context 腐化与“一键大扫除”演练台

观察多轮复杂开发后 Context 如何被污染,以及触发 Checkpoint 摘要后如何满血复活:

📜 [System Prompt] 你是资深架构师
❌ [Error Log] 500行 Node.js 内存溢出报错...
🗑️ [Failed Attempt] 尝试修改 A.js 导致语法错误
🗑️ [Failed Attempt] 尝试回滚失败,产生冗余日志
❌ [Outdated Tool Output] 打印了 2000 行临时数据
🎯 [User Query] 请帮我写最后的修复脚本
🥀 当前状态:上下文高度腐化 (Context Rotting)
大模型信噪比仅 15% · 容易产生幻觉
上下文里塞满了失败尝试的报错。AI 会以为这些错误是必须遵守的代码逻辑,导致再次生成错误代码!
Token 消耗: 82,450 Tokens (极度昂贵且迟钝)
🧠 认知科学解释

大模型的注意力像“工作记忆”

人类的工作记忆容量只有 7 个组块(Miller 7±2 定律)。

大模型虽然拥有百万 Token 窗口,但在深层逻辑推理时,有效推理注意力容量依然非常有限

🤖 Agent 工程最佳实践

Ralph / Fork 新鲜 Agent 机制

顶级 Agent 框架(如 DeepSeek Harness / Claude Code)采用 Fresh Agent 机制

每完成一个阶段目标,立即开启一个干净无污染的新子智能体,只继承结构化结论报告,彻底告别 Context 腐化。

💰 降本与稳定性双赢

长久保持顶级智商

通过定期做 Checkpoint 压缩与修剪,不仅能消除 90% 的 API Token 账单;

更能让大模型在连续自主工作数百步时,始终保持如初见般的敏锐判断力与严谨格式遵守度