DAC：面向任务无关的提示压缩的动态注意力感知方法
计算与语言
2025-07-17 v1
摘要
任务无关的提示压缩利用自然语言中的冗余信息，以减少计算开销并在提示中提升信息密度，尤其在长上下文场景中效果显著。现有方法主要依赖信息熵作为压缩词汇单元的指标，以实现最小信息损失。然而，这些方法忽略了两个关键方面：(i) 注意力关键 token 在算法层面的重要性，以及 (ii) 压缩过程中信息熵的变化。鼓励这些挑战的动机下，我们提出了一种面向任务无关的提示压缩的动态注意力感知方法（DAC）。该方法有效地整合了熵信息和注意力信息，动态感知压缩过程中的熵变化，以实现精细的提示压缩。广泛的实验覆盖了包括 LongBench、GSM8K 和 BBH 在内的多个领域，结果表明 DAC 在多样化的任务和大语言模型上均一致地取得稳健且显著的改进，为其有效性提供了有力的证据。
引用
@article{arxiv.2507.11942,
title = {DAC: A Dynamic Attention-aware Approach for Task-Agnostic Prompt Compression},
author = {Yi Zhao and Zuchao Li and Hai Zhao and Baoyuan Qi and Guoming Liu},
journal= {arXiv preprint arXiv:2507.11942},
year = {2025}
}
备注
ACL 2025