纯临界点与伪临界点：线性网络的几何研究
机器学习
2020-04-06 v2 代数几何
机器学习
摘要
神经网络损失函数的临界轨迹由函数空间的几何以及该空间通过神经网络权重的参数化所决定。我们引入了纯临界点与伪临界点之间的自然区分：纯临界点仅依赖于函数空间，而伪临界点源于参数化。我们应用这一视角重访并拓展了关于线性神经网络损失函数的文献。对于此类网络，函数空间要么是从输入空间到输出空间的所有线性映射的集合，要么是一个行列式簇，即具有有界秩的线性映射集合。我们利用行列式簇的几何性质，推导了关于具有不同损失函数和不同参数化的线性网络景观的新结果。我们的分析清楚地说明，线性网络损失景观中“坏”局部极小值的缺失归因于适用于不同设置的两种不同现象：对于能够表达所有线性映射的架构（“填充架构”），任意光滑凸损失均成立；但当函数空间为行列式簇（“非填充架构”）时，仅对二次损失成立。在不对架构作任何假设的情况下，光滑凸损失可能导致具有许多坏极小值的景观。
引用
@article{arxiv.1910.01671,
title = {Pure and Spurious Critical Points: a Geometric Study of Linear Networks},
author = {Matthew Trager and Kathlén Kohn and Joan Bruna},
journal= {arXiv preprint arXiv:1910.01671},
year = {2020}
}