高压缩比下保留关键信息：面向LLM的查询引导压缩器
计算与语言
2024-06-18 v2
摘要
大语言模型日益普及，激发了人们对大语言模型（LLM）上下文压缩的兴趣。然而，随着压缩比的增加，先前方法的性能急剧下降，有时甚至降至闭卷水平。这种下降可归因于压缩过程中关键信息的丢失。我们的初步研究支持这一假设，强调了在高压缩比下保留关键信息以维持模型性能的重要性。因此，我们引入了查询引导压缩器（QGC），它利用查询来引导上下文压缩过程，有效保留压缩上下文中的关键信息。此外，我们采用了动态压缩策略。我们在问答任务（包括NaturalQuestions、TriviaQA和HotpotQA数据集）上验证了我们提出的QGC的有效性。实验结果表明，即使在高压缩比下，QGC也能持续表现良好，同时在推理成本和吞吐量方面也带来了显著优势。
引用
@article{arxiv.2406.02376,
title = {Retaining Key Information under High Compression Ratios: Query-Guided Compressor for LLMs},
author = {Zhiwei Cao and Qian Cao and Yu Lu and Ningxin Peng and Luyang Huang and Shanbo Cheng and Jinsong Su},
journal= {arXiv preprint arXiv:2406.02376},
year = {2024}
}
备注
Accepted to ACL 2024