什么是 中间遗忘现象（Lost in the Middle）？
中间遗忘现象（Lost in the Middle）是语言模型相比上下文开头或结尾，更不稳定地使用长上下文中间信息的倾向。
工作原理
中间遗忘现象是实际长上下文失败模式。即使模型上下文窗口足以容纳全部证据，它也可能不如使用开头或结尾信息那样可靠地关注中间位置证据。这会影响 RAG、Agent 记忆、法律审查和长文档问答。缓解通常需要更好的排序、上下文压缩、章节排序、摘要、引用，以及测试证据出现位置的评估用例，而不只是测试证据是否出现。
主要特点
- 当重要证据埋在长提示词中间时出现
- 即使模型技术上支持该上下文长度，也可能发生
- 影响 RAG 答案、长文档问答、Agent 记忆和多文档提示
- 取决于模型架构、训练、提示结构和证据位置
- 需要通过改变证据在上下文中的位置来评估
常见用途
- 测试 RAG 答案是否使用位于上下文中间的证据
- 重排检索分块，把关键证据放到模型更容易关注的位置
- 在生成前压缩长上下文
- 为长文档问答设计章节摘要提示
- 诊断证据已检索但引用缺失的问题
示例
loading...
Loading code...常见问题
更大的上下文窗口能解决中间遗忘吗？
不能单独解决。更大窗口允许更多文本，但模型仍可能因位置和提示结构而低估证据。
如何发现中间遗忘现象？
使用同一证据分别位于上下文开头、中间和结尾的评估用例，对比答案质量。
如何缓解这个问题？
谨慎排序证据、压缩上下文、在摘要中重复关键事实、使用引用，并避免塞入无关分块。
为什么它对 RAG 很重要？
检索器可能返回了正确证据，但如果证据埋在长上下文中，生成模型仍可能漏用它。