线性模式连通性与彩票假设
机器学习
2020-07-21 v4 神经与进化计算
机器学习
摘要
我们研究神经网络在不同 SGD 噪声样本（例如随机数据顺序与数据增强）下是否优化到相同、线性连通的最小值。我们发现标准视觉模型在训练早期即以这种方式对 SGD 噪声变得稳定。从那时起，优化的结果被确定到一个线性连通的区域。我们使用该技术来研究迭代幅度剪枝（IMP），即彩票假设相关工作中用于识别可独立训练至全精度的子网络的过程。我们发现这些子网络仅在它们对 SGD 噪声稳定时才达到全精度，这在小尺度设置（MNIST）中发生于初始化时，或在大尺度设置（ImageNet 上的 ResNet-50 和 Inception-v3）中发生于训练早期。
引用
@article{arxiv.1912.05671,
title = {Linear Mode Connectivity and the Lottery Ticket Hypothesis},
author = {Jonathan Frankle and Gintare Karolina Dziugaite and Daniel M. Roy and Michael Carbin},
journal= {arXiv preprint arXiv:1912.05671},
year = {2020}
}
备注
Published in ICML 2020. This submission subsumes arXiv:1903.01611 ("Stabilizing the Lottery Ticket Hypothesis" and "The Lottery Ticket Hypothesis at Scale")