谱滤波器、暗信号与注意力沉没
人工智能
2024-02-15 v1 计算与语言
摘要
将中间表示投影到词汇表上是一种日益流行的解释工具，用于基于 Transformer 的大语言模型 (LLM)，也被称为 logit lens。我们提出了一种对该方法的定量扩展，并基于将词汇表嵌入和反嵌入矩阵的奇异向量划分为频带，在中间表示上定义了谱滤波器。我们发现，谱尾端交换的信号负责注意力沉没 (attention sinking)（Xiao et al. 2023），对此我们提供了解释。我们发现，只要保留注意力沉没现象，即使以依赖于层的方式抑制嵌入谱的相当大部分，预训练模型的损失仍可保持较低水平。最后，我们发现，吸引许多 token 注意力的 token 其表示在谱尾端具有较大的投影。
引用
@article{arxiv.2402.09221,
title = {Spectral Filters, Dark Signals, and Attention Sinks},
author = {Nicola Cancedda},
journal= {arXiv preprint arXiv:2402.09221},
year = {2024}
}