彩票票假设保留权重相关性：可取与否？
机器学习
2021-07-20 v2 人工智能
计算机视觉与模式识别
摘要
在深度模型压缩中，近期发现的“彩票票假设”（LTH）（Frankle & Carbin, 2018）指出，可能存在一张中奖票（即恰当剪枝的子网络配合原始权重初始化），其性能可与原始稠密网络相竞争。然而，在许多场景中难以观察到此种中奖属性，例如即便较大学习率有益于原始稠密模型训练，仍使用相对较大的学习率。本工作中，我们探究中奖属性背后的潜在条件与原理，发现其根本原因在很大程度上归因于当学习率不够大时初始化权重与最终训练权重之间的相关性。因此，中奖属性的存在与 DNN 预训练不足相关，且不太可能发生于训练良好的 DNN。为克服此局限，我们提出“剪枝与微调”方法，在相同剪枝算法与相同总训练周期下，始终优于彩票票稀疏训练。我们在不同数据集上对多个深度模型（VGG、ResNet、MobileNet-v2）进行了大量实验以佐证我们的提议。
引用
@article{arxiv.2102.11068,
title = {Lottery Ticket Preserves Weight Correlation: Is It Desirable or Not?},
author = {Ning Liu and Geng Yuan and Zhengping Che and Xuan Shen and Xiaolong Ma and Qing Jin and Jian Ren and Jian Tang and Sijia Liu and Yanzhi Wang},
journal= {arXiv preprint arXiv:2102.11068},
year = {2021}
}