通过特征谱理解预训练对目标检测器的影响
计算机视觉与模式识别
2019-09-10 v1 机器学习
机器学习
摘要
长期以来,ImageNet预训练被视为训练精确目标检测器的关键。最近研究表明,从随机初始化权重训练的目标检测器可与从ImageNet预训练模型微调的检测器媲美。然而,预训练的效果及其引起的差异仍未被充分理解。本文中,我们分析目标检测器中各特征图协方差矩阵的特征谱动态。基于对ResNet-50、带FPN的Faster R-CNN和Mask R-CNN的分析,我们表明即便两者精度相近,从ImageNet预训练模型训练的检测器与从头训练的检测器表现仍不同。此外,我们提出一种基于特征谱自动确定目标检测器宽度(通道数)的方法。我们从随机初始化权重训练带FPN的Faster R-CNN,表明该方法可在不增加乘加运算且不损失精度的情况下,将ResNet-50参数量减少约27%。我们的结果表明,应开发更合适的方法将知识从图像分类迁移至目标检测(或其他任务)。
引用
@article{arxiv.1909.04021,
title = {Understanding the Effects of Pre-Training for Object Detectors via Eigenspectrum},
author = {Yosuke Shinya and Edgar Simo-Serra and Taiji Suzuki},
journal= {arXiv preprint arXiv:1909.04021},
year = {2019}
}
备注
ICCV 2019 Workshop on Neural Architects (Oral)