通过主动回顾学习提升大语言模型处理长上下文理解的鲁棒性
计算与语言
2026-01-21 v1 人工智能
摘要
本文提出了主动回顾学习（ARL），一种用于增强大语言模型（LLM）处理长上下文理解的框架。ARL通过在持续预训练期间的针对性序列构建和推断时的回顾性总结，使模型能够重新访问和总结早期内容。首先，我们基于长上下文和短上下文前向上下文之间的损失差识别长上下文中的关键标记，并发现大多数相关前导段落，然后使用LLM对其进行总结。其次，ARL为模型提供了在推断期间自主生成和利用这些回顾性总结的能力，从而在段落之间建立递归记忆机制。实验结果显示，ARL在RULER上实现了26.8%的提升，在LongBench上实现了9.44%的提升。总体而言，ARL提供了一种简单而有效的持续预训练方法，以增强长上下文理解，推动了LLM中可扩展记忆增强的发展。
引用
@article{arxiv.2601.13734,
title = {Towards robust long-context understanding of large language model via active recap learning},
author = {Chenyu Hui},
journal= {arXiv preprint arXiv:2601.13734},
year = {2026}
}
备注
5 pages