通过把握要旨来实现长上下文原语压缩
机器学习
2025-04-15 v1 人工智能
摘要
长上下文处理是LLM普及的关键，但现有方法常引入架构复杂度，阻碍实际应用。原语压缩（gisting）是一种无需修改解码器Transformer架构的原语压缩方法，因其简单性和与现有框架的兼容性而值得期待。虽然对短指令有效，但我们展示原语压缩在处理更长上下文时表现不佳，即使在最小压缩率下也出现显著性能下降。令人惊讶的是，一个简单的平均池化基线始终优于原语压缩。我们分析了原语压缩的局限性，包括信息流中断、容量限制以及无法限制其注意力聚焦于上下文的子集。鼓励地理理论洞察解释了原语压缩与平均池化之间性能差距，并通过大量实验，我们提出了GistPool，一种新的原语压缩方法。GistPool保留了原语压缩的简单性，同时显著提升了其在长上下文压缩任务上的性能。
引用
@article{arxiv.2504.08934,
title = {Long Context In-Context Compression by Getting to the Gist of Gisting},
author = {Aleksandar Petrov and Mark Sandler and Andrey Zhmoginov and Nolan Miller and Max Vladymyrov},
journal= {arXiv preprint arXiv:2504.08934},
year = {2025}
}