重构任务发现通用中奖彩票子网络
计算机视觉与模式识别
2022-02-24 v1
摘要
剪枝训练良好的神经网络可有效实现计算机视觉中精度与效率的良好权衡。然而，现有剪枝算法多聚焦于源域上定义的分类任务。与原始模型强迁移性不同，剪枝后网络难以迁移至目标检测等复杂下游任务（arXiv:arch-ive/2012.04643）。本文表明，图像级预训练任务不足以剪枝出适用于多样下游任务的模型。为缓解该问题，我们将像素级任务图像重构引入传统剪枝框架。具体地，基于原始模型训练自编码器，随后以自编码器损失与分类损失共同优化剪枝过程。在基准下游任务上的实证研究表明，所提方法可显著优于当前最优结果。
引用
@article{arxiv.2202.11484,
title = {Reconstruction Task Finds Universal Winning Tickets},
author = {Ruichen Li and Binghui Li and Qi Qian and Liwei Wang},
journal= {arXiv preprint arXiv:2202.11484},
year = {2022}
}
备注
Under review