深度线性神经网络中的对齐现象研究
机器学习
2020-06-18 v2 机器学习
摘要
我们研究了梯度下降下线性神经网络中作为一种隐式正则化形式的对齐的性质。我们为具有多维输出的全连接网络定义了对齐，并表明它是Ji和Telgarsky于2018年所定义的1维输出网络对齐的自然推广。尽管在全连接网络中总存在对应于对齐解的全局最小值，我们分析了与训练过程相关的对齐。即，我们通过提供该不变性成立的充要条件，刻画了对齐何时作为梯度下降训练的不变性。在此类设定下，梯度下降的动态得以简化，从而使我们能够给出网络线性收敛至全局最小值的显式学习率。接着我们分析了具有层约束的网络，如卷积网络。在此设定下，我们证明梯度下降等价于投影梯度下降，并且在对齐在足够大数据集下不可能发生。
引用
@article{arxiv.2003.06340,
title = {On Alignment in Deep Linear Neural Networks},
author = {Adityanarayanan Radhakrishnan and Eshaan Nichani and Daniel Bernstein and Caroline Uhler},
journal= {arXiv preprint arXiv:2003.06340},
year = {2020}
}