FNA++：基于参数重映射与架构搜索的快速网络适配
计算机视觉与模式识别
2020-12-17 v2
摘要
深度神经网络在许多计算机视觉任务中取得了卓越性能。大多数最先进（SOTA）的语义分割与目标检测方法复用为图像分类设计的神经网络架构作为骨干网络，通常在 ImageNet 上预训练。然而，正如近期针对检测与分割的神经架构搜索（NAS）研究所表明的，通过专门设计用于检测和分割的网络架构可获得性能提升。但一个主要挑战是，对搜索空间表示（即超网络）或搜索到的网络进行 ImageNet 预训练会带来巨大的计算成本。本文提出一种快速网络适配（FNA++）方法，可通过参数重映射技术将种子网络（例如 ImageNet 预训练网络）的架构与参数同时适配为具有不同深度、宽度或卷积核大小的网络，从而能够更高效地将 NAS 用于分割与检测任务。在实验中，我们将 FNA++ 应用于 MobileNetV2，获得用于语义分割、目标检测与人姿估计的新网络，其明显优于现有手工设计与 NAS 设计的网络。我们还在 ResNets 与 NAS 网络上实现了 FNA++，展现出极强的泛化能力。FNA++ 的总计算成本显著低于 SOTA 分割与检测 NAS 方法：比 DPC 少 1737 倍，比 Auto-DeepLab 少 6.8 倍，比 DetNAS 少 8.0 倍。我们进行了一系列消融实验以证明有效性，并给出详细分析以深入揭示其工作机制。代码见 https://github.com/JaminFong/FNA。
引用
@article{arxiv.2006.12986,
title = {FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search},
author = {Jiemin Fang and Yuzhu Sun and Qian Zhang and Kangjian Peng and Yuan Li and Wenyu Liu and Xinggang Wang},
journal= {arXiv preprint arXiv:2006.12986},
year = {2020}
}
备注
Accepted by TPAMI (extension of arXiv:2001.02525)