A2SF：基于遗忘因子的累积注意力分数用于Transformer解码器中的令牌剪枝

近来，基于Transformer的大语言模型（LLM）由于KV缓存而面临内存瓶颈问题，尤其是在长序列处理中。先前的研究提出了KV缓存压缩技术，这些技术基于累积注意力分数识别不重要的令牌，并将其从KV缓存中移除，注意到在注意力操作中只有少数令牌起重要作用。然而，我们观察到现有的累积注意力分数并不适用于Transformer解码器结构。在解码器模型中，由于掩码效应，注意力分数累积的次数随令牌出现的顺序而变化，导致令牌之间的比较不均衡。为解决此问题，我们提出了带有遗忘因子的累积注意力分数（A2SF）技术，该技术在注意力分数累积过程中引入遗忘因子。A2SF通过随时间反复将遗忘因子乘以注意力分数，对旧令牌产生的过去注意力分数施加惩罚。因此，较旧的令牌受到更大的惩罚，从而在不同年龄的令牌之间提供了公平性。通过令牌间的公平比较，我们可以更有效地选择重要令牌。我们通过A2SF在OPT和LLaMA模型中验证了准确率的提升，A2SF在1-shot和0-shot设置下将LLaMA 2的准确率分别提升了高达7.8%和5.1%。