可视化中奖彩票的损失景观
机器学习
2021-12-17 v1 计算机视觉与模式识别
摘要
深度神经网络底层的损失景观对其训练有重大影响，但由于计算限制，以往主要停留在理论研究中。本工作大幅减少了计算此类损失景观所需的时间，并利用它们研究通过迭代幅度剪枝发现的中奖彩票。我们还分享了与先前所声称的某些损失景观投影方法和模型可训练性以及泛化误差之间相关性相矛盾的结果。
引用
@article{arxiv.2112.08538,
title = {Visualizing the Loss Landscape of Winning Lottery Tickets},
author = {Robert Bain},
journal= {arXiv preprint arXiv:2112.08538},
year = {2021}
}
备注
7 pages, 7 figures, 1 algorithm/pseudocode