揭示放大语言特定神经元的影响
计算与语言
2025-11-18 v3 机器学习
摘要
语言特定神经元在大语言模型（LLM）中与单个语言高度相关的神经元已被证明通过去激活它们来影响模型行为。然而，关于放大这些神经元的作用仍鲜有探讨。本工作通过在 18 种语言（包括低资源语言）上进行干预，研究放大语言特定神经元的效应，这些模型主要在不同语言上进行训练。我们通过提出的语言驾驶位移（LSS）评估分数比较不同放大因子的有效性，然后在下游任务上进行评估：常识推理（XCOPA、XWinograd）、知识（Include）和翻译（FLORES）。最优的放大因子能够有效地将输出引导至几乎所有测试语言。对下游任务的干预在某些情况下改善了自语言性能，但一般会损害跨语言结果。我们的发现凸显了语言特定神经元在多语言行为中的作用，其中放大在低资源语言方面尤其有益，但在跨语言迁移方面提供的优势有限。
引用
@article{arxiv.2507.22581,
title = {Unveiling the Influence of Amplifying Language-Specific Neurons},
author = {Inaya Rahmanisa and Lyzander Marciano Andrylie and Mahardika Krisna Ihsani and Alfan Farizki Wicaksono and Haryo Akbarianto Wibowo and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2507.22581},
year = {2025}
}
备注
Accepted to AACL 2025. Our code and dataset are made available at https://github.com/tauimbz/lang-task-neuron