面向轻量级非局部网络的神经架构搜索
计算机视觉与模式识别
2020-04-07 v1
摘要
非局部(NL)块已在多种视觉任务中被广泛研究。然而,将NL块嵌入移动神经网络却鲜有探索,主要由于以下挑战:1)NL块通常计算代价沉重,难以应用于计算资源受限的场景;2)发现将NL块嵌入移动神经网络的最优配置是一个开放问题。我们提出AutoNL以克服上述两个障碍。首先,我们通过压缩变换操作并引入紧凑特征,提出一种轻量级非局部(LightNL)块。借助新颖的设计选择,所提LightNL块比其传统对应块在计算上廉价400倍,且不牺牲性能。其次,通过在训练中将LightNL块的结构松弛为可微分,我们提出一种高效的神经架构搜索算法,以端到端方式学习LightNL块的最优配置。值得注意的是,仅用32 GPU小时,所搜索的AutoNL模型在典型移动设置(350M FLOPs)下于ImageNet上取得77.7%的top-1准确率,显著优于先前的移动模型,包括MobileNetV2(+5.7%)、FBNet(+2.8%)和MnasNet(+2.1%)。代码与模型见https://github.com/LiYingwei/AutoNL。
引用
@article{arxiv.2004.01961,
title = {Neural Architecture Search for Lightweight Non-Local Networks},
author = {Yingwei Li and Xiaojie Jin and Jieru Mei and Xiaochen Lian and Linjie Yang and Cihang Xie and Qihang Yu and Yuyin Zhou and Song Bai and Alan Yuille},
journal= {arXiv preprint arXiv:2004.01961},
year = {2020}
}
备注
CVPR 2020. Project page: https://github.com/LiYingwei/AutoNL