COMI：基于边际信息增益的粗到细上下文压缩
计算与语言
2026-03-09 v3
摘要
大型语言模型（LLM）在 diverse 任务上展现出卓越的能力，但在长上下文场景中的部署仍受制于计算效率低和信息冗余。上下文压缩方法通过显著减少输入长度和消除冗余来缓解这些挑战。我们提出COMI，一个粗到细自适应上下文压缩框架，联合优化语义相关性和多样性，在高压缩率下实现优化。我们引入边际信息增益（MIG），定义为单位与输入查询的相关性减去其与其他单位的语义冗余，从而引导压缩过程以优先处理既相关又低冗余的信息。该框架包含两个阶段：(1)粗粒度组重新分配，上下文被划分为组，并根据组间MIG动态分配压缩率，确保压缩预算与信息价值分布一致；(2)细粒度标记合并，通过基于组内MIG的加权机制将组内标记融合，从而保留关键语义并避免冗余的累积。广泛的实验在问答（如NaturalQuestions、NWikiMQA、HotpotQA和NarrativeQA）、摘要（如MultiNews）等任务上进行，使用多种主干模型（如LLaMA-2-7B、Qwen2-7B）均表明COMI在各类基准上均显著优于现有方法。例如，在Qwen2-7B模型下，压缩率达32倍时，在NaturalQuestions上实现约25分的Exact Match（EM）提升。
引用
@article{arxiv.2602.01719,
title = {COMI: Coarse-to-fine Context Compression via Marginal Information Gain},
author = {Jiwei Tang and Shilei Liu and Zhicheng Zhang and Yujin Yuan and Libin Zheng and Wenbo Su and Bo Zheng},
journal= {arXiv preprint arXiv:2602.01719},
year = {2026}
}
备注
Accepted at ICLR 2026