两层 ReLU 网络中伪极小值的湮灭
机器学习
2022-10-13 v1 最优化与控制
摘要
我们研究关于平方损失的拟合两层 ReLU 神经网络所对应的优化问题，其中标签由目标网络生成。利用丰富的对称结构，我们开发了一组新颖的工具，用于研究过参数化湮灭伪极小值的机制。我们在不同极小值处获得了损失与 Hessian 谱的尖锐解析估计，并证明增加神经元可将对称伪极小值变为鞍点；对称性较低的极小值需要更多神经元。利用柯西交错定理，我们证明了在由损失函数对称结构产生的某些子空间中存在下降方向。该解析方法使用了代数几何、表示论与对称性破缺中新颖于该领域的技巧，并从理论上证实了过参数化在使相关损失地形可被基于梯度的方法访问方面的有效性。对固定的神经元数与输入数，在目标发生对称性破缺扰动下，谱结果依然成立。
引用
@article{arxiv.2210.06088,
title = {Annihilation of Spurious Minima in Two-Layer ReLU Networks},
author = {Yossi Arjevani and Michael Field},
journal= {arXiv preprint arXiv:2210.06088},
year = {2022}
}