预训练期间去除异常值是免费的午餐吗？

随着大语言模型规模的不断增长，量化的作用变得日益重要。然而，权重或激活中存在的异常值会显著影响量化模型的性能。最近，\citet{qtransformer} 引入了一种新型 softmax 函数，旨在以无异常值的方式预训练模型，从而增强其对量化的适用性。有趣的是，我们观察到这种方法会导致全精度下的性能下降。基于这一见解，我们通过确保其归一化对序列长度不变来改进该方法，这是弥合预训练和微调之间差距的关键因素。此外，这种改进的方法也有助于因果语言模型的成功预训练。