双重彩票假设
机器学习
2022-03-09 v1
摘要
充分挖掘神经网络的学习能力需要过参数化的稠密网络。另一方面，直接训练稀疏神经网络通常导致不尽如人意的表现。彩票假设(LTH)提供了一种考察稀疏网络训练并保持其能力的全新视角。具体而言，它声称存在从随机初始化网络中发现的中奖票，通过迭代幅度剪枝并保留有前景的可训练性（或说处于可训练状态）获得。本工作中，我们将 LTH 的中奖票视为处于可训练状态的子网络且其性能作为基准，然后从互补方向阐述双重彩票假设(DLTH)：从随机初始化的稠密网络中随机选取的子网络可被转化为可训练状态，并取得与 LTH 相比令人赞赏的性能——给定彩票池中的随机票可被转化为中奖票。具体地，通过使用均匀随机选取的子网络代表一般情况，我们提出一种简单的稀疏网络训练策略，随机稀疏网络转化(RST)，以证实我们的 DLTH。具体而言，我们引入正则项以借用学习能力并从将被掩码的权重中实现信息挤出。在完成随机选取子网络的转化后，我们进行常规微调，使用与 LTH 及其他强基线公平比较来评估模型。在多个公开数据集上的大量实验以及与竞争性方法的比较验证了我们 DLTH 及所提模型 RST 的有效性。我们的工作有望为未来启发稀疏网络训练的新研究方向铺路。我们的代码见 https://github.com/yueb17/DLTH。
引用
@article{arxiv.2203.04248,
title = {Dual Lottery Ticket Hypothesis},
author = {Yue Bai and Huan Wang and Zhiqiang Tao and Kunpeng Li and Yun Fu},
journal= {arXiv preprint arXiv:2203.04248},
year = {2022}
}