稀疏 ImageNet 模型的迁移性能如何？
计算机视觉与模式识别
2022-04-22 v5 人工智能
机器学习
摘要
迁移学习是一种经典范式，通过将“上游”大型数据集上预训练的模型进行适配，以在“下游”专用数据集上取得良好结果。一般而言，“上游”数据集上更准确的模型往往能提供更好的“下游”迁移精度。在这项工作中，我们针对在 ImageNet 数据集上训练并经过剪枝（即通过稀疏化连接进行压缩）的卷积神经网络（CNNs），深入研究了这一现象。我们考虑使用非结构化剪枝模型进行迁移，这些模型通过多种最先进剪枝方法获得，包括基于幅值、二阶、重生、彩票假设和正则化方法，并应用于十二个标准迁移任务。简而言之，我们的研究表明，稀疏模型可以匹配甚至优于稠密模型的迁移性能，即使在高度稀疏下也是如此，并且在此过程中能带来显著的推理甚至训练加速。同时，我们观察并分析了不同剪枝方法行为上的显著差异。
引用
@article{arxiv.2111.13445,
title = {How Well Do Sparse Imagenet Models Transfer?},
author = {Eugenia Iofinova and Alexandra Peste and Mark Kurtz and Dan Alistarh},
journal= {arXiv preprint arXiv:2111.13445},
year = {2022}
}
备注
Accepted to CVPR'22. This version: 25 pages, 9 figures (including appendix). **Includes extended upstream training results, which are not present in the CVPR version.**