理解和控制In-Context学习中的重复神经元与归纳头
计算与语言
2025-11-12 v2
摘要
本文探讨了大型语言模型（LLM）识别重复输入模式能力与其在In-Context学习（ICL）中的性能之间的关系。与 prior work主要关注注意力头不同，我们从技能神经元（skill neurons）的角度来 examination，这些神经元具体为重复神经元（repetition neurons）。我们的实验表明，这些神经元对ICL性能的影响取决于其所在层的深度。通过比较重复神经元和归纳头的影响，我们进一步识别了在保持强ICL能力的同时减少重复输出的策略。
关键词
引用
@article{arxiv.2507.07810,
title = {Understanding and Controlling Repetition Neurons and Induction Heads in In-Context Learning},
author = {Nhi Hoai Doan and Tatsuya Hiraoka and Kentaro Inui},
journal= {arXiv preprint arXiv:2507.07810},
year = {2025}
}