幼态假说：我们能从彩票假说研究中汲取什么？
机器学习
2021-09-10 v1
摘要
彩票假说的提出揭示了网络结构和初始化参数与神经网络学习潜力之间的关系。原始的彩票假说在训练收敛后进行剪枝和权重重置，使其面临遗忘已学知识和潜在高训练成本的问题。因此，我们提出一种将神经网络结构搜索思想与剪枝算法相结合的策略来缓解这一问题。该算法在现有中奖子网络上搜索并扩展网络结构，以递归方式产生新的中奖子网络。这使得训练和剪枝过程能够在不牺牲性能的情况下继续进行。通过这种递归方式，可以获得具有更深网络结构、更好泛化能力和更优测试性能的新中奖子网络。该方法可以解决：剪枝后子网络训练困难或性能退化、原始彩票假说中权重的遗忘，以及在最终网络结构未给定时生成中奖子网络的困难。我们在MNIST和CIFAR-10数据集上验证了这一策略。在将其与类似的生物现象及近年来相关的彩票假说研究联系起来后，我们将进一步提出一个新的假说，以探讨哪些因素可以使网络保持幼态，即那些在训练过程中影响神经网络学习潜力或泛化性能的可能因素。
引用
@article{arxiv.2109.03862,
title = {Juvenile state hypothesis: What we can learn from lottery ticket hypothesis researches?},
author = {Di Zhang},
journal= {arXiv preprint arXiv:2109.03862},
year = {2021}
}
备注
7 pages, 8 figures, Under the review of AAAI2022