大语言模型中的旋转偏移特征
计算与语言
2025-08-25 v2 机器学习
摘要
基于 Transformer 的大语言模型（LLM）依赖位置编码为其注意力机制提供序列位置信息。旋转位置编码（RoPE）通过旋转查询和键来编码相对位置，已成为现代 LLM 中广泛使用的编码方式。我们研究了在使用旋转嵌入时查询和键中出现的特征和模式，提出了旋转偏移特征（rotary offset features）的概念。我们的分析揭示，这些特征——频繁出现大激活值且常被解释为异常值——在不同层、注意力头和模型架构中一致出现。我们推导出预测哪些旋转频率会产生旋转偏移特征以及这些特征查询-键对的最短角度的上界。我们在不同规模和架构的模型中验证了这些预测。
关键词
引用
@article{arxiv.2503.01832,
title = {Rotary Offset Features in Large Language Models},
author = {André Jonasson},
journal= {arXiv preprint arXiv:2503.01832},
year = {2025}
}