InfiniteICL：通过长期记忆转换突破上下文窗口大小限制
计算与语言
2025-04-04 v2 人工智能
摘要
In-context learning（ICL）是大型语言模型（LLM）中的关键技术，但其有效性受限于有限的上下文窗口，尤其在超长上下文场景中。为突破这一限制，我们提出InfiniteICL框架，将LLM中的上下文与参数分别与人类认知系统中的短期记忆和长期记忆进行类比，聚焦于转换临时上下文知识为永久参数更新的技术。该方法显著降低内存使用，保持对不同输入长度的稳健性能，理论上通过上下文知识的挖掘、选择与巩固原则实现无限上下文集成。评估显示，我们的方法将上下文长度降低90%，同时在事实记忆、 grounded reasoning和技能获取等任务中实现103%的平均性能。当在复杂真实上下文（最长达200万token）的顺序多轮转换中，本方法在仅使用原始上下文0.4%的情况下超越了完整上下文提示。这些发现凸显了InfiniteICL在提升LLM可扩展性和效率方面，突破传统上下文窗口大小限制的潜力。
引用
@article{arxiv.2504.01707,
title = {InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation},
author = {Bowen Cao and Deng Cai and Wai Lam},
journal= {arXiv preprint arXiv:2504.01707},
year = {2025}
}