Transformer 中的模块化：探究神经元可分离性与特化

Transformer 模型在各种应用中日益普及，但我们对它内部工作机制的理解仍然有限。本文研究了 Transformer 架构内神经元的模块化和任务特化，重点关注视觉（ViT）和语言（Mistral 7B）模型。结合选择性剪枝和 MoEfication 聚类技术，我们分析了不同任务和数据子集间神经元的重叠和特化。我们的发现揭示了任务特异性神经元簇存在的证据，且相关任务之间存在不同程度的重叠。我们观察到，即使在随机初始化的模型中，神经元重要性模式也在一定程度上持续存在，表明存在一种由训练加以完善的固有结构。此外，我们发现通过 MoEfication 识别出的神经元簇在模型的较前和较后层中与任务特异性神经元的对应程度更强。这项工作有助于更细致地理解 Transformer 的内部结构，并为提高模型可解释性和效率提供了潜在途径的见解。