大型语言模型中的巨量激活
计算与语言
2024-08-15 v2 机器学习
摘要
我们在大型语言模型 (LLMs) 中观察到一个实证现象——极少数激活值显著大于其他值（例如大 100,000 倍）。我们将它们称为巨量激活 (massive activations)。首先，我们证明了巨量激活在各种 LLMs 中广泛存在，并表征了它们的位置。其次，我们发现它们的值在很大程度上不随输入变化，并在 LLMs 中充当不可或缺的偏置项。第三，这些巨量激活导致注意力概率集中到其对应的 token 上，进而导致自注意力输出中出现隐式偏置项。最后，我们还研究了视觉 Transformer (Vision Transformers) 中的巨量激活。代码地址：https://github.com/locuslab/massive-activations。
引用
@article{arxiv.2402.17762,
title = {Massive Activations in Large Language Models},
author = {Mingjie Sun and Xinlei Chen and J. Zico Kolter and Zhuang Liu},
journal= {arXiv preprint arXiv:2402.17762},
year = {2024}
}
备注
First Conference on Language Modeling (COLM), 2024. Website at https://eric-mingjie.github.io/massive-activations/index.html