并非所有彩票都生而平等
机器学习
2022-06-17 v1
摘要
彩票假说（LTH）指出，对于尺寸合理的神经网络，同一网络内的子网络在从相同初始化训练时，其性能不低于稠密对应网络。本工作研究了模型尺寸与寻找这些稀疏子网络难易程度之间的关系。我们通过实验表明，令人惊讶的是，在有限预算下，较小模型从彩票搜索（TS）中获益更多。
引用
@article{arxiv.2206.08175,
title = {Not All Lotteries Are Made Equal},
author = {Surya Kant Sahu and Sai Mitheran and Somya Suhans Mahapatra},
journal= {arXiv preprint arXiv:2206.08175},
year = {2022}
}
备注
Accepted at ICML 2022 HAET Workshop