基于参数重映射与架构搜索的快速神经网络适配
计算机视觉与模式识别
2020-04-10 v2
摘要
深度神经网络在许多计算机视觉任务中取得了卓越性能。多数最先进(SOTA)的语义分割与目标检测方法复用为图像分类设计的神经网络架构作为骨干网络,通常在ImageNet上预训练。然而,正如近期针对检测与分割的神经架构搜索(NAS)研究所表明的,通过专门设计用于检测与分割的网络架构可获得性能提升。但一大挑战在于,对搜索空间表示(又称超网络)或搜索所得网络进行ImageNet预训练会带来巨大计算开销。本文提出一种快速神经网络适配(FNA)方法,其可通过参数重映射技术将种子网络(例如高性能人工设计骨干网络)的架构与参数适配为具有不同深度、宽度或核的网络,从而使得将NAS用于检测/分割任务变得高效得多。在我们的实验中,我们在MobileNetV2上执行FNA以获得分别用于分割与检测且明显优于现有人工及NAS设计网络的新网络。FNA的总计算成本显著低于SOTA分割/检测NAS方法:比DPC少1737,比Auto-DeepLab少6.8,比DetNAS少7.4。代码见 https://github.com/JaminFong/FNA。
引用
@article{arxiv.2001.02525,
title = {Fast Neural Network Adaptation via Parameter Remapping and Architecture Search},
author = {Jiemin Fang and Yuzhu Sun and Kangjian Peng and Qian Zhang and Yuan Li and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2001.02525},
year = {2020}
}
备注
Accepted by ICLR 2020