量化模仿：面向极微小 CNN 的目标检测
计算机视觉与模式识别
2018-09-14 v3
摘要
本文提出了一个简单且通用的框架，用于训练极微小的 CNN 以进行目标检测。由于表征能力有限，训练极微小网络以应对检测等复杂任务具有挑战性。据我们所知，我们称为量化模仿（Quantization Mimic）的方法是首个专注于极微小网络的方法。我们利用两类加速方法：模仿与量化。模仿通过从教师网络迁移知识来提升学生网络的性能。量化将全精度网络转换为量化网络而不造成性能大幅退化。若教师网络被量化，则学生网络的搜索范围将更小。利用量化的这一特性，我们提出了量化模仿。它先量化大型网络，再模仿一个量化的小型网络。量化操作可帮助学生网络更好地匹配来自教师网络的特征图。为评估我们的方法，我们在包括 VGG 和 ResNet 在内的多种流行 CNN 以及包括 Faster R-CNN 和 R-FCN 在内的不同检测框架上进行了实验。在 Pascal VOC 和 WIDER FACE 上的实验验证了我们的量化模仿算法可应用于多种设置，并在有限计算资源下优于最先进的模型加速方法。
引用
@article{arxiv.1805.02152,
title = {Quantization Mimic: Towards Very Tiny CNN for Object Detection},
author = {Yi Wei and Xinyu Pan and Hongwei Qin and Wanli Ouyang and Junjie Yan},
journal= {arXiv preprint arXiv:1805.02152},
year = {2018}
}
备注
Accepted to ECCV 2018. Version for conference submission (polish and use theoretical size in Table 1)