面向实用的对抗训练彩票假设
机器学习
2020-03-13 v1 机器学习
摘要
近期研究提出了彩票假设，表明对于深度神经网络，存在可训练子网络，在以相当的训练步数下表现等于或优于原始模型。尽管该发现具有洞察力，但寻找合适的子网络需要迭代训练和剪枝。由此产生的高昂代价限制了彩票假设的应用。我们证明在上述子网络中存在一个子集，其在训练过程中收敛显著更快，从而可缓解代价问题。我们进行了大量实验以表明此类子网络在各种模型结构中于受限超参数设定下（例如，精心选择的学习率、剪枝率和模型容量）持续存在。作为我们发现的实用应用，我们证明此类子网络可帮助将对抗训练（一种提升鲁棒性的标准方法）的总时间最多减少 49%，在 CIFAR-10 上达到最先进的鲁棒性。
引用
@article{arxiv.2003.05733,
title = {Towards Practical Lottery Ticket Hypothesis for Adversarial Training},
author = {Bai Li and Shiqi Wang and Yunhan Jia and Yantao Lu and Zhenyu Zhong and Lawrence Carin and Suman Jana},
journal= {arXiv preprint arXiv:2003.05733},
year = {2020}
}