Transformer语言模型中的选择性神经元放大
机器学习
2026-05-12 v2 计算与语言
摘要
大型语言模型常在看似已理解的任务上失败。在我们的实验中，这种现象似乎更多是由于某些内部电路在推理时未被强烈激活，而非缺乏知识。我们探索了选择性神经元放大（Selective Neuron Amplification, SNA）方法，通过提升任务相关神经元的影响力而不改变模型参数来实现。这一方法在推理阶段工作，不会永久性地修改模型。SNA主要在模型不确定时发挥作用，而在模型已确定时效果较小。这表明某些模型失败是由于激活不足而非能力不足。
关键词
引用
@article{arxiv.2604.07098,
title = {Selective Neuron Amplification in Transformer Language Models},
author = {Ryyan Akhtar and Payal Pahwa and Monika Arora},
journal= {arXiv preprint arXiv:2604.07098},
year = {2026}
}
备注
11 pages, 3 figures. Preprint. Code and experiments conducted independently