神经网络如何找到可泛化解：深度学习中的自调节退火
数据分析、统计与概率
2020-01-07 v1 统计力学
机器学习
适应与自组织系统
摘要
尽管随机梯度下降（Stochastic Gradient Descent, SGD）算法在深度学习中取得了巨大成功，但关于 SGD 如何在高维权重空间中找到可泛化解仍知之甚少。通过分析学习动态与损失函数景观，我们发现对于所有基于 SGD 的学习算法，权重方差与景观平坦度（曲率倒数）之间存在稳健的反比关系。为解释该方差–平坦度反比关系，我们发展了随机景观理论，表明 SGD 噪声强度（有效温度）与景观平坦度成反比。我们的研究表明，SGD 获得了一种自调节的、依赖于景观的退火策略，从而在景观的平坦极小处找到可泛化解。最后，我们展示了这些新理论见解如何导向更高效的算法，例如用于避免灾难性遗忘。
引用
@article{arxiv.2001.01678,
title = {How neural networks find generalizable solutions: Self-tuned annealing in deep learning},
author = {Yu Feng and Yuhai Tu},
journal= {arXiv preprint arXiv:2001.01678},
year = {2020}
}