从涌现中学习：主动抑制人工神经网络单语义神经元的研究

最近，随着大规模模型的成功，涌现受到了研究界的广泛关注。与已有文献不同，我们假设在规模增长期间促进性能的一个关键因素是：减少只能与特定特征形成一一对应关系的单语义神经元。单语义神经元往往更稀疏，并对大模型的性能产生负面影响。受此启发，我们提出了一个直观的想法来识别单语义神经元并抑制它们。然而，实现这一目标并非易事，因为没有统一的定量评估指标，且简单禁止单语义神经元并不能促进神经网络中的多语义性。因此，我们首先提出了一种新指标来测量神经元的单语义性，同时保证在线计算的效率，然后引入了一种有理论支持的方法来抑制单语义神经元，并在训练神经网络时主动提升多语义神经元的比例。我们在不同领域的多种神经网络和基准数据集（包括语言、图像和物理模拟任务）上验证了我们的猜想，即单语义性在不同模型规模下带来性能变化。进一步的实验验证了我们关于抑制单语义性的分析和理论。