高效的彩票票寻找：少数据胜多数据
机器学习
2021-06-08 v1 人工智能
计算机视觉与模式识别
摘要
彩票票假设（LTH）揭示了稠密网络存在中奖票（稀疏但关键的子网络），可从其随机初始化开始独立训练以匹配后者精度。然而，寻找中奖票在训练-剪枝-重训练过程中需要繁重计算，尤其在大规模数据集（如 ImageNet）上，限制了其实用益处。本文探索一种更高效寻找彩票票的新视角：仅使用经特殊筛选的数据子集（称为剪枝感知关键集，PrAC 集）而非完整训练集来寻找。PrAC 集的概念受近期观察启发：深度网络中存在在训练时难以记忆或在剪枝时容易遗忘的样本。因此假设 PrAC 集能捕获对稠密模型最具挑战性和信息量的样本。我们观察到，通过在极紧凑的 PrAC 集上训练和剪枝稠密网络，可找到高质量中奖票，这能大幅节省寻票过程的训练迭代次数。大量实验在多样数据集和网络架构上验证了我们的方案。具体而言，在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上，我们以训练集大小的 35.32%~78.19% 定位了有效 PrAC 集。在其上，我们能为对应稠密网络获得同样具竞争力的中奖票，却分别节省多达 82.85%~92.77%、63.54%~74.92% 和 76.14%~86.56% 的训练迭代。关键在于，我们表明所寻 PrAC 集可跨不同网络架构复用，从而摊还寻找 PrAC 集的额外开销， yielding 一种用于高效彩票票寻找的实用机制。
引用
@article{arxiv.2106.03225,
title = {Efficient Lottery Ticket Finding: Less Data is More},
author = {Zhenyu Zhang and Xuxi Chen and Tianlong Chen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2106.03225},
year = {2021}
}