在中奖彩票抽出后更好地使用你的获胜彩票
机器学习
2021-10-12 v3 计算机视觉与模式识别
摘要
彩票票假设（Lottery Ticket Hypothesis, LTH）表明，一个稠密神经网络包含一个稀疏子网络，当该子网络从头开始独立训练时，其性能可与原始稠密网络相匹配。大多数工作采用与稠密网络相同的训练协议（如初始化、架构模块和训练配方）来重训稀疏子网络。然而，迄今为止尚不清楚这些训练协议对于稀疏网络是否最优。在本文中，我们证明稀疏重训无需严格继承稠密网络的那些属性。相反，通过有目的地“调整”稀疏子网络架构或其训练配方，其重训效果可较默认情况显著改善，尤其是在高稀疏度水平下。组合我们提出的所有“调整”可产出 LTH 的新最优（state-of-the-art）性能，且这些修改通常可轻松适配其他稀疏训练算法。具体而言，相较于 vanilla-LTH，我们在 CIFAR-100 上针对 ResNet18 取得了 1.05%–4.93% 显著且一致的性能提升。此外，我们的方法被证明可跨数据集（CIFAR10、CIFAR100、TinyImageNet）与架构（Vgg16、ResNet-18/ResNet-34、MobileNet）泛化。所有代码将公开可用。
引用
@article{arxiv.2101.03255,
title = {Spending Your Winning Lottery Better After Drawing It},
author = {Ajay Kumar Jaiswal and Haoyu Ma and Tianlong Chen and Ying Ding and Zhangyang Wang},
journal= {arXiv preprint arXiv:2101.03255},
year = {2021}
}