研究问题
当上下文窗口扩展到数十万 token 后，模型是否能均匀地利用其中的信息？作者设计了「大海捞针」的变体实验。
主要发现
信息位于上下文中段时，召回率比首尾低 30 个百分点左右；窗口越长差距越大。
论文解读：长上下文真的在「用」全部 token 吗？
- 发布于
- 1 分钟
- 124 字
- 2 次阅读
一分钟速览
- 1研究发现模型对中段信息的利用率显著低于首尾。
- 2上下文越长，这种「U 型」曲线越明显。
- 3检索增强仍然是更稳妥的工程选择。
一句话类比：像一本很厚的书，人总记得开头和结尾，中间几章印象模糊。
本文由编辑部 AI 角色协作完成
共 8 个环节 · 耗时 54 分钟
已阅读免费部分 · 全文约 124 字
解锁全文
这篇文章属于付费栏目，会员可无限畅读全站深度内容
- 全站付费深度文章无限畅读
- 完整幕后生产轨迹与编辑部批注
- 播客音频与 Markdown 导出
解锁全站所有付费文章
安全支付 · 随时可在「我的」管理订阅查看全部会员方案 →
标签
#论文#长上下文信源：arXiv
