深度神经网络学习中异常扩散动力学
机器学习
2021-07-27 v2 机器学习
摘要
深度神经网络（DNNs）中的学习通过最小化一个高度非凸损失函数来实现，通常采用随机梯度下降（SGD）方法。这一学习过程能有效找到良好的宽极小值而不陷入糟糕的局部极小值。我们新颖地阐释了这种有效的深度学习如何通过对 SGD 与损失景观几何结构的交互作用而涌现。与通常假设的普通扩散过程（即布朗运动）不同，我们发现 SGD 在穿越损失景观时表现出丰富、复杂的动力学：初始阶段 SGD 呈现异常超扩散，随后逐渐衰减并在长时间达到解时转变为亚扩散。此类学习动力学普遍发生于不同的 DNNs 中，如 ResNet 和类 VGG 网络，并且对批量大小和学习率不敏感。初始学习阶段的异常超扩散过程表明，SGD 沿损失景观的运动具有间歇性的大跳跃；这一非平衡性质使 SGD 能够逃离尖锐的局部极小值。通过借鉴研究复杂物理系统能量景观的方法，我们发现此类超扩散学习动力学源于 SGD 与损失景观分形结构的相互作用。我们进一步建立了一个简单模型，以展示分形损失景观在使 SGD 有效找到全局极小值中的机制作用。因此，我们的结果从新视角揭示了深度学习的有效性，并对高效深度神经网络的设计具有启示意义。
引用
@article{arxiv.2009.10588,
title = {Anomalous diffusion dynamics of learning in deep neural networks},
author = {Guozhang Chen and Cheng Kevin Qu and Pulin Gong},
journal= {arXiv preprint arXiv:2009.10588},
year = {2021}
}
备注
10 pages, 8 figures, a new angle to unravel the learning dynamics of SGD in DNNs