随机修正方程与 Dropout 算法的动力学
机器学习
2023-05-26 v1
摘要
Dropout 是神经网络训练中广泛使用的正则化技术，然而其底层机制及其对获得良好泛化能力的影响仍知之甚少。在这项工作中，我们推导了用于分析 dropout 动力学的随机修正方程，将其离散迭代过程近似为一类随机微分方程。为了研究 dropout 有助于识别平坦极小值的底层机制，我们研究了所推导的 dropout 随机修正方程的噪声结构。通过对 Hessian 与协方差之间结构相似性的若干直观近似，我们经验性地证明了在 dropout 的整个训练过程中普遍存在的逆方差-平坦性关系与 Hessian-方差关系。这些理论和经验发现对我们理解 dropout 定位平坦极小值的固有趋势做出了实质性贡献。
引用
@article{arxiv.2305.15850,
title = {Stochastic Modified Equations and Dynamics of Dropout Algorithm},
author = {Zhongwang Zhang and Yuqing Li and Tao Luo and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2305.15850},
year = {2023}
}