解码器基预训练语言模型的多语言能力：寻找和控制语言特定神经元
计算与语言
2024-04-04 v1
摘要
当前的解码器基预训练语言模型（PLMs）成功地表现出多语言能力。然而，这些模型如何处理多语言性尚不清楚。我们分析了多语言解码器基预训练语言模型在神经元水平上的内部行为。具体考察是否存在仅为每个语言唯一激活的神经元。我们分析了六种语言：英语、德语、法语、西班牙语、中文和日语，并表明语言特定神经元是唯一的，不同语言之间存在轻微重叠（<5%）。这些神经元主要分布在模型的前几层和后几层。这种趋势在不同语言和模型之间保持一致。此外，我们在推理时干扰了每个模型中少于1%的总神经元，并证明干扰少数语言特定神经元会极大改变文本生成中目标语言出现的概率。
引用
@article{arxiv.2404.02431,
title = {On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons},
author = {Takeshi Kojima and Itsuki Okimura and Yusuke Iwasawa and Hitomi Yanaka and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2404.02431},
year = {2024}
}
备注
Accepted to NAACL2024. Our code is available at https://github.com/kojima-takeshi188/lang_neuron