ANAct：激活函数的自适应归一化
机器学习
2024-02-06 v3 人工智能
摘要
在本文中，我们研究了激活函数对前向和反向传播的负面影响，以及如何抵消这种影响。首先，我们考察激活函数如何影响神经网络的前向和反向传播，并推导出一个扩展该领域先前工作的梯度方差一般形式。我们尝试使用小批量统计来动态更新归一化因子，以确保整个训练过程中的归一化性质，而不是仅考虑权重初始化后神经网络的状态。其次，我们提出ANAct，一种归一化激活函数以维持跨层一致梯度方差的方法，并通过实验证明其有效性。我们观察到收敛速度大致与归一化性质相关。我们在CNN和残差网络上将ANAct与几种常见激活函数进行比较，并显示ANAct一致地改善了它们的性能。例如，在Tiny ImageNet数据集上，归一化后的Swish在ResNet50上比原始Swish的top-1准确率高1.4%，在CIFAR-100上高1.2%以上。
引用
@article{arxiv.2208.13315,
title = {ANAct: Adaptive Normalization for Activation Functions},
author = {Yuan Peiwen and Henan Liu and Zhu Changsheng and Yuyi Wang},
journal= {arXiv preprint arXiv:2208.13315},
year = {2024}
}
备注
14 pages, 6 figures