MOOSComp: 通过缓解过平滑问题并融合异常得分来提高轻量级长上下文压缩器

近期大型语言模型的进展显著提升了其处理长上下文输入的能力，但在资源受限的环境中面临推理时间和资源消耗增加的实际挑战。为此，我们提出了 MOOSComp，一种基于标记分类的长上下文压缩方法，通过缓解过平滑问题并融合异常得分来提高基于 BERT 的压缩器性能。在训练阶段，我们添加了类别间余弦相似度损失项，以惩罚过于相似的标记表示，从而提高标记分类准确性。在压缩阶段，我们引入异常得分以保留稀缺但关键的标记，这些标记在任务无关的压缩中容易被丢弃。这些得分与分类器输出集成，使压缩器对各种任务更具通用性。在各种压缩比例下，本方法在长上下文理解和推理基准测试中实现了优异性能。此外，在资源受限的移动设备上，以 4 倍压缩比实现了 3.3 倍加速。