嵌入原理：深度神经网络损失景观的层次结构
机器学习
2021-12-01 v1 人工智能
摘要
我们证明了深度神经网络(NNs)损失景观的一个通用嵌入原理，该原理揭示了 NN 损失景观的层次结构，即一个 NN 的损失景观包含全部更窄 NN 的所有临界点。这一结果通过构造一类临界嵌入得到，该类嵌入将任意更窄 NN 的临界点映射到具有同一输出函数的目标 NN 的临界点。通过发现一大类一般兼容临界嵌入，我们对从更窄 NN 临界点嵌入而来的临界子流形的维数给出了粗略估计。我们进一步证明了任意临界嵌入的不可逆性：通过嵌入使 NN 变宽时，临界点 Hessian 矩阵负/零/正特征值的个数可能增加但绝不会减少。利用一般兼容临界嵌入的一个特殊实现，我们证明了一个临界点成为“真正坏”临界点的严格必要条件——它永远不会通过任意临界嵌入成为严格鞍点。该结果意味着宽 NN 中严格鞍点的普遍存在，这可能是实践中广泛观察到的宽 NN 易于优化的重要原因。
引用
@article{arxiv.2111.15527,
title = {Embedding Principle: a hierarchical structure of loss landscape of deep neural networks},
author = {Yaoyu Zhang and Yuqing Li and Zhongwang Zhang and Tao Luo and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2111.15527},
year = {2021}
}