共享至关重要：分析大语言模型中跨语言和任务的神经元
计算与语言
2025-09-29 v3
摘要
大语言模型(LLM)彻底改变了自然语言处理(NLP)领域,最近的研究旨在理解其底层机制。然而,大多数此类研究都是在单语言环境下进行的,主要关注英语。很少有研究尝试探索LLM在多语言环境下的内部工作机制。在本研究中,我们旨在通过考察神经元激活如何在任务和语言之间共享来填补这一研究空白。我们根据神经元对特定输入在不同语言中的响应,将其分为四个不同的类别:全共享、部分共享、特异性和非激活。基于这一分类,我们使用多个LLM在九种语言上对三个任务进行了广泛的实验,并在本文中进行了深入分析。我们的发现表明:(i) 停用全共享神经元会显著降低性能;(ii) 共享神经元在生成响应中起着至关重要的作用,尤其是全共享神经元;(iii) 神经元激活模式高度敏感,并因任务、LLM和语言而异。这些发现揭示了多语言LLM的内部工作机制,并为未来的研究铺平了道路。我们发布了代码以促进该领域的研究。
引用
@article{arxiv.2406.09265,
title = {Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs},
author = {Weixuan Wang and Barry Haddow and Minghao Wu and Wei Peng and Alexandra Birch},
journal= {arXiv preprint arXiv:2406.09265},
year = {2025}
}