研究基于 Transformer 的 LLM 中的神经元和注意力头在处理拼写错误方面的作用
计算与语言
2025-02-28 v1
摘要
本文研究了大型语言模型（LLM）如何编码包含拼写错误的输入。我们假设特定的神经元和注意力头会识别拼写错误并利用局部和全局上下文进行内部修复。我们引入一种方法来识别在输入包含拼写错误时发挥作用的拼写神经元和拼写注意力头。我们的实验结果表明：1）即使某些在中间层的拼写神经元未被激活，LLM 仍可通过激活早期或后期层的拼写神经元利用局部上下文修复拼写错误。2）中间层的拼写神经元负责利用全局上下文完成拼写修复的核心工作。3）拼写注意力头通过广泛考虑上下文而非聚焦于特定标记来修复拼写错误。4）拼写神经元和拼写注意力头不仅用于拼写修复，也用于理解一般上下文。
引用
@article{arxiv.2502.19669,
title = {Investigating Neurons and Heads in Transformer-based LLMs for Typographical Errors},
author = {Kohei Tsuji and Tatsuya Hiraoka and Yuchang Cheng and Eiji Aramaki and Tomoya Iwakura},
journal= {arXiv preprint arXiv:2502.19669},
year = {2025}
}
备注
14 pages, 10 figures, 6 tables