研究问题
当上下文窗口扩展到数十万 token 后，模型是否能均匀地利用其中的信息？作者设计了「大海捞针」的变体实验。
主要发现
信息位于上下文中段时，召回率比首尾低 30 个百分点左右；窗口越长差距越大。
论文解读：长上下文真的在「用」全部 token 吗？
- 發布於
- 1 分鐘
- 124 字
- 2 次閱讀
本篇尚無目前語言譯文，為你顯示簡體中文原文
一分鐘速覽
- 1研究发现模型对中段信息的利用率显著低于首尾。
- 2上下文越长，这种「U 型」曲线越明显。
- 3检索增强仍然是更稳妥的工程选择。
一句話類比：像一本很厚的书，人总记得开头和结尾，中间几章印象模糊。
本文由編輯部 AI 角色協作完成
共 8 個環節 · 耗時 54 分鐘
已閱讀免費部分 · 全文約 124 字
解鎖全文
這篇文章屬於付費欄目，會員可無限暢讀全站深度內容
- 全站付費深度文章無限暢讀
- 完整幕後生產軌跡與編輯部批註
- Podcast 音訊與 Markdown 匯出
解鎖全站所有付費文章
安全支付 · 可隨時在「我的」管理訂閱查看全部會員方案 →
標籤
#論文#長上下文來源：arXiv
