用于极深神经网络并应用于图像分类的朗之万算法
机器学习
2023-01-02 v1 机器学习
摘要
训练极深的神经网络是一项具有挑战性的任务，因为神经网络越深，其非线性越强。我们将各种预条件朗之万算法与其非朗之万对应算法在训练深度递增的神经网络上的性能进行比较。对于浅层神经网络，朗之万算法没有带来任何改进，然而网络越深，朗之万算法提供的增益越大。向梯度下降中添加噪声允许逃离局部陷阱，而这对于极深神经网络更为频繁。遵循这一启发式，我们引入了一种称为层朗之万（Layer Langevin）的新朗之万算法，其由仅向与最深层相关联的权重添加朗之万噪声组成。然后我们证明了朗之万和层朗之万算法在训练用于图像分类的流行深度残差架构方面的益处。
引用
@article{arxiv.2212.14718,
title = {Langevin algorithms for very deep Neural Networks with application to image classification},
author = {Pierre Bras},
journal= {arXiv preprint arXiv:2212.14718},
year = {2023}
}
备注
8 pages