面向目标识别的彩票假设
计算机视觉与模式识别
2021-04-20 v2 机器学习
摘要
目标识别和关键点估计等识别任务近年来已被广泛采用。这些任务中最先进的多数方法使用计算昂贵且内存占用巨大的深度网络。这使得在低功耗嵌入式设备上部署这些系统极为困难。因此，降低此类模型的存储需求和计算量至关重要。近期提出的彩票假设（Lottery Ticket Hypothesis, LTH）指出，在大型数据集上训练的深度神经网络包含可达到与稠密网络相当性能的小型子网络。在本工作中，我们首次开展实证研究，探讨 LTH 在目标检测、实例分割与关键点估计背景下的模型剪枝。我们的研究表明，从 ImageNet 预训练获得的彩票票在迁移到下游任务时表现不佳。我们提供了如何在不同子任务上找到整体稀疏度高达 80% 且不造成性能下降的彩票票的指引。最后，我们分析了训练后的票相对于物体尺寸、频率及检测难度等各种任务属性的行为。
引用
@article{arxiv.2012.04643,
title = {The Lottery Ticket Hypothesis for Object Recognition},
author = {Sharath Girish and Shishira R. Maiya and Kamal Gupta and Hao Chen and Larry Davis and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2012.04643},
year = {2021}
}
备注
To appear at CVPR 2021