理解并最小化神经网络训练中的异常特征

异常特征（OF）是指其激活幅度显著超过神经网络宽度平均值的神经元。众所周知，它们在标准Transformer训练过程中出现，并具有阻碍受影响模型量化的不良效果。尽管它们具有实际重要性，但关于OF为何在训练中出现以及如何最小化它们，我们知之甚少。我们的工作聚焦于上述问题，首先确定了几个定量指标，例如神经元激活范数的峰度，来衡量OF。利用这些指标，我们研究了架构和优化选择如何影响OF，并提供了在训练中最小化OF的实用见解。作为亮点，我们引入了一种新颖的非归一化Transformer块——异常保护块，并展示了非对角预条件优化器的一个先前未知的好处，发现这两种方法都能显著减少OF并改善量化，同时不牺牲收敛速度，在高达7B参数的规模上。值得注意的是，我们的OP块和非对角预条件器（SOAP）组合在量化OPT-125m模型后训练时，实现了14.87的int8权重和激活困惑度（标准精度为14.71），而使用默认易产生OF的Pre-Norm模型和Adam组合时，int8困惑度为63.4（标准精度为16.00）。总体而言，我们的发现为理解、预防以及处理神经网络训练动态这一重要方面的复杂性提供了新的视角。