训练稀疏神经网络的困难性
机器学习
2020-10-08 v3 计算机视觉与模式识别
机器学习
摘要
我们研究了训练稀疏神经网络的困难性，并对稀疏 regime 下的优化动力学与能量景观做出了新的观察。Gale 等人（2019）与 Liu 等人（2018）的近期工作表明，在 ImageNet-2012 数据集上训练的稀疏 ResNet-50 架构收敛到的解明显差于通过剪枝得到的解。我们展示，尽管优化器失效，但从初始化到“好”解之间存在一条目标函数单调下降的线性路径。此外，我们试图在稀疏子空间中找到从“坏”解到“好”解的下降目标路径的尝试失败了。然而，若允许路径穿越稠密子空间，则我们总能找到连接两个解的路径。这些发现表明，要逃离稀疏子空间中找到的驻点，可能需要遍历额外的维度。
引用
@article{arxiv.1906.10732,
title = {The Difficulty of Training Sparse Neural Networks},
author = {Utku Evci and Fabian Pedregosa and Aidan Gomez and Erich Elsen},
journal= {arXiv preprint arXiv:1906.10732},
year = {2020}
}
备注
sparse networks, pruning, energy landscape, sparsity