随机梯度下降与人工神经网络中方差-平坦性关系的反常现象
适应与自组织系统
2023-08-16 v2 机器学习
摘要
随机梯度下降（SGD）作为深度学习中广泛使用的算法，其成功背后的理论原理持续受到研究。近期工作报道了在 SGD 驱动下神经权重方差与损失函数景观平坦性之间的反常（逆）关系 [Feng & Tu, PNAS 118, 0027 (2021)]。为探究这一看似违背统计物理原理的现象，我们通过动态分解方法分析了 SGD 在不动点附近的性质。我们的方法恢复了普适玻尔兹曼分布成立下的真实“能量”函数。它一般不同于代价函数，并解决了该反常现象引发的悖论。本研究弥合了经典统计力学与新兴人工智能学科之间的鸿沟，并有望为后者带来更优算法。
引用
@article{arxiv.2207.04932,
title = {Stochastic Gradient Descent and Anomaly of Variance-flatness Relation in Artificial Neural Networks},
author = {Xia Xiong and Yong-Cong Chen and Chunxiao Shi and Ping Ao},
journal= {arXiv preprint arXiv:2207.04932},
year = {2023}
}