超越二次近似:神经网络损失景观的多尺度结构
机器学习
2022-06-23 v3
摘要
神经网络损失景观的二次近似已被广泛用于研究这些网络的优化过程。尽管它通常在极小点非常小的邻域内成立,却无法解释优化过程中观察到的许多现象。在本工作中,我们研究神经网络损失函数的结构及其在良好二次近似无法触及的区域中对优化的影响。通过数值实验,我们观察到神经网络损失函数具有多尺度结构,表现为两种方式:(1)在极小点邻域内,损失混合了连续谱的尺度并呈次二次增长;(2)在更大区域内,损失清晰地展现出若干个分离的尺度。利用次二次增长,我们能够解释梯度下降(GD)方法所观察到的稳定性边缘现象[5]。利用分离的尺度,我们通过简单示例解释学习率衰减的工作机制。最后,我们研究多尺度结构的起源,并提出模型的不可凸性与训练数据的不均匀性是原因之一。通过构造一个两层神经网络问题,我们表明具有不同量级训练数据会产生损失函数的不同尺度,从而产生次二次增长和多个分离尺度。
引用
@article{arxiv.2204.11326,
title = {Beyond the Quadratic Approximation: the Multiscale Structure of Neural Network Loss Landscapes},
author = {Chao Ma and Daniel Kunin and Lei Wu and Lexing Ying},
journal= {arXiv preprint arXiv:2204.11326},
year = {2022}
}