彩票票子的合理性检验：你的中奖票真的中了头奖吗？
机器学习
2021-10-28 v4 人工智能
计算机视觉与模式识别
摘要
文献中关于“中奖票”的实验设置和识别标准长期存在争议与不一致。为调和此类问题，我们重新审视彩票票假设的定义，给出全面且更严格的条件。在新定义下，我们给出具体证据以厘清中奖票是否存在于主流 DNN 架构和/或应用中。通过大量实验，我们对中奖票与各类实验因素间的相关性进行定量分析，并实证研究了观测结果的模式。我们发现关键训练超参数（如学习率和训练轮数）以及架构特征（如容量和残差连接）都与能否及何时识别出中奖票高度相关。基于我们的分析，我们总结了针对特定架构特征的参数设置指南，期望能推动彩票票假设主题的研究进展。我们的代码公开于：https://github.com/boone891214/sanity-check-LTH。
引用
@article{arxiv.2107.00166,
title = {Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?},
author = {Xiaolong Ma and Geng Yuan and Xuan Shen and Tianlong Chen and Xuxi Chen and Xiaohan Chen and Ning Liu and Minghai Qin and Sijia Liu and Zhangyang Wang and Yanzhi Wang},
journal= {arXiv preprint arXiv:2107.00166},
year = {2021}
}
备注
NeurIPS 2021 camera ready