SING：一种即插即用的深度神经网络学习技术
机器学习
2023-05-26 v1 人工智能
摘要
我们提出 SING（StabIlized and Normalized Gradient，稳定化与归一化梯度），一种即插即用的技术，可改善 Adam(W) 优化器的稳定性与泛化能力。SING 实现简单且计算开销极小，仅需对输入 Adam(W) 的梯度进行逐层标准化，不引入额外超参数。我们通过在多种架构、问题（如图像分类、深度估计和自然语言处理）上取得改进结果，并与其他优化器结合使用，证明了所提方法的有效性与实用性。我们对该方法的收敛性进行了理论分析，并表明借助标准化，SING 能够逃离宽度小于某一阈值的局部极小，该阈值与网络深度成反比。
引用
@article{arxiv.2305.15997,
title = {SING: A Plug-and-Play DNN Learning Technique},
author = {Adrien Courtois and Damien Scieur and Jean-Michel Morel and Pablo Arias and Thomas Eboli},
journal= {arXiv preprint arXiv:2305.15997},
year = {2023}
}