多层网络低成本解的景观连通性解释
机器学习
2020-01-07 v2 机器学习
摘要
模式连通性是深度网络损失景观中一个令人惊讶的现象。最优解——至少那些由基于梯度的优化所发现的解——被证明由简单的路径相连，在这些路径上损失函数几乎为常数。通常，这些路径可被选为分段线性，且仅有两段。我们假设训练良好的深度网络具有通用性质（如 dropout 稳定性和噪声稳定性），这些性质此前已被视为理解深度网络泛化性质的一部分，并据此为该现象给出数学解释。我们的解释适用于现实的多层网络，并给出了实验以验证该理论。
引用
@article{arxiv.1906.06247,
title = {Explaining Landscape Connectivity of Low-cost Solutions for Multilayer Nets},
author = {Rohith Kuditipudi and Xiang Wang and Holden Lee and Yi Zhang and Zhiyuan Li and Wei Hu and Sanjeev Arora and Rong Ge},
journal= {arXiv preprint arXiv:1906.06247},
year = {2020}
}