离群维度编码任务特定知识

已知大语言模型（LLMs）的表示由一小部分具有极高方差的维度主导。先前工作认为，尽管在 LLM 表示中剔除这些离群维度会损害下游性能，但离群维度对嵌入的表示质量是有害的。在本研究中，我们考察微调如何影响离群维度，并表明：1）预训练出现的离群维度在微调模型中持续存在；2）单个离群维度可以极小的错误率完成下游任务。我们的结果表明，离群维度能够编码关键的任务特定知识，且表示在单个离群维度中的取值驱动了下游模型的决策。