APP：任意时刻渐进剪枝
机器学习
2022-06-03 v2 计算机视觉与模式识别
摘要
随着深度学习的最新进展，由于其在实际场景中的相关性，在线学习范式受到大量关注。尽管已针对数据流随时间连续的最优学习设置探究了许多方法，此类设置下的稀疏网络训练却常被忽视。本文中，我们探讨在在线学习的一种特例——宏观尺度任意时刻学习范式（ALMA）下，以目标稀疏度训练神经网络的问题。我们提出一种新颖的渐进剪枝方式，称为 \textit{Anytime Progressive Pruning}（APP，任意时刻渐进剪枝）；所提方法在短、中、长序列训练下，跨多种架构与数据集显著优于稠密基线与 Anytime OSP 模型。例如，在少样本受限 ImageNet 训练中，我们的方法准确率提升约 ，泛化差距缩小约 ，而模型尺寸约为稠密基线模型的 。我们进一步观察到在基于大量 megabatch 的 ALMA 中泛化差距出现有趣的非单调转变。代码与实验面板可分别访问 \url{https://github.com/landskape-ai/Progressive-Pruning} 与 \url{https://wandb.ai/landskape/APP}。
引用
@article{arxiv.2204.01640,
title = {APP: Anytime Progressive Pruning},
author = {Diganta Misra and Bharat Runwal and Tianlong Chen and Zhangyang Wang and Irina Rish},
journal= {arXiv preprint arXiv:2204.01640},
year = {2022}
}
备注
21 pages including 4 pages of references. Preprint version