🧠
上下文丢失可视化
滑动调整上下文长度，观察 AI 注意力如何随窗口扩大而衰减——理解「Lost in the Middle」现象
128K
4K8K32K128K200K
50%
少（10%）多（90%）
🔥 注意力热力图
颜色越暖（橙/红）= 注意力越高 · 颜色越冷（蓝/紫）= 注意力越低
0K-13K系统提示 + 用户指令10%
13K-26K填充内容（文档/代码/对话记录）35%
26K-39K填充内容（文档/代码/对话记录）56%
39K-52K填充内容（文档/代码/对话记录）66%
52K-66K填充内容（文档/代码/对话记录）70%
66K-79K填充内容（文档/代码/对话记录）70%
79K-92K填充内容（文档/代码/对话记录）66%
92K-105K填充内容（文档/代码/对话记录）56%
105K-118K填充内容（文档/代码/对话记录）35%
118K-131K关键问题 + 输出格式要求10%
📈 注意力分布曲线
典型的 U 形分布：开头和结尾注意力高，中间急剧下降
🔄 模型代际对比
📟2023 模型（如 GPT-3.5）
• 上下文窗口：4K - 8K tokens
• 中间内容丢失率：40-60%
• 有效利用长度：~60% 的窗口
🧠2026 模型（如 Claude Opus 4）
• 上下文窗口：200K tokens
• 中间内容丢失率：10-20%
• 有效利用长度：~85% 的窗口
💡 如何应对上下文丢失？
📌重要信息前置
把关键指令、输出格式要求放在 prompt 的开头或结尾，避免被"淹没"在中间。
📋结构化格式
使用 Markdown 标题、列表、分隔符等结构化格式，帮助模型定位信息。
✂️分段处理
超长文档拆分为多个子任务，每次只喂相关片段，而非一次性灌入全文。
🔁关键信息重复
在 prompt 末尾重复强调核心要求（如"必须用 TypeScript"），对抗注意力衰减。