理解深度神经网络中的短程记忆效应
机器学习
2023-02-21 v4 机器学习
摘要
随机梯度下降（SGD）在深度学习中具有根本重要性。尽管其形式简单，阐明其有效性仍具挑战。 conventionally，SGD 的成功归因于训练过程中引发的随机梯度噪声（SGN）。基于这一共识，SGD 常被视作由布朗运动或 Levy 稳定运动驱动的随机微分方程（SDE）的 Euler-Maruyama 离散化并加以分析。本研究主张 SGN 既非高斯也非 Levy 稳定。相反，受 SGN 序列中出现的短程相关性启发，我们提出 SGD 可视为由分数布朗运动（FBM）驱动的 SDE 的离散化。据此，SGD 动力学的不同收敛行为得到了合理解释。此外，我们近似推导了 FBM 驱动 SDE 的首达时间。结果表明，Hurst 参数越大逃逸率越低，因而 SGD 在平坦极小值中停留更久。这恰与已知现象——SGD 偏好泛化良好的平坦极小值——相吻合。我们进行了大量实验来验证猜想，并证明短程记忆效应在各种模型架构、数据集和训练策略中持续存在。我们的研究开辟了新视角，并有助于更好地理解 SGD。
引用
@article{arxiv.2105.02062,
title = {Understanding Short-Range Memory Effects in Deep Neural Networks},
author = {Chengli Tan and Jiangshe Zhang and Junmin Liu},
journal= {arXiv preprint arXiv:2105.02062},
year = {2023}
}
备注
15pages