一个深度神经网络中有多少张中奖彩票?
机器学习
2020-06-15 v1 机器学习
摘要
最近的中奖彩票假设提出,存在一个子网络,在单独训练时能与原始网络的精度相匹配。我们表明,事实上每个网络都包含多个中奖彩票,即使初始权重是固定的。所得的中奖子网络并非权重空间对称性下同一网络的实例,并且其重叠或相关性并未显著高于随机期望。如果降低训练过程中的随机性,则会出现高于随机的重叠,即使网络是在不同任务上训练的。我们得出结论,存在一个有能力子网络上的分布,而非单一的中奖彩票。
引用
@article{arxiv.2006.07014,
title = {How many winning tickets are there in one DNN?},
author = {Kathrin Grosse and Michael Backes},
journal= {arXiv preprint arXiv:2006.07014},
year = {2020}
}
备注
17 pages, 15 figures, under submission