DAST：基于动态软标记分配的 LLM 文本上下文压缩
计算与语言
2025-02-18 v1
摘要
大型语言模型（LLMs）在处理长上下文输入时面临计算效率低下和冗余处理的问题，促使人们关注压缩技术。虽然现有的基于语义向量的压缩方法取得了可喜的效果，但这些方法未能考虑到上下文片块之间信息密度的内在差异，导致在上下文片块之间均匀分配软标记，从而削弱了对信息关键区域的分配。为此，我们提出了动态软标记分配（Dynamic Allocation of Soft Tokens, DAST），一种简单而有效的方法，利用 LLM 内在的上下文相关性理解能力来指导压缩。DAST 将基于困惑度的局部信息与基于注意力的全局信息相结合，动态地将软标记分配给信息丰富的上下文片块，从而实现有效的、上下文感知的压缩。跨多个基准的实验结果表明，DAST 超越了当前最先进的方法。
引用
@article{arxiv.2502.11493,
title = {DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens},
author = {Shaoshen Chen and Yangning Li and Zishan Xu and Yinghui Li and Xin Su and Zifei Shan and Hai-tao Zheng},
journal= {arXiv preprint arXiv:2502.11493},
year = {2025}
}