HR-NAS：利用轻量级 Transformer 搜索高效高分辨率神经架构
计算机视觉与模式识别
2021-06-15 v1
摘要
高分辨率表征（HR）对于分割、检测和姿态估计等密集预测任务至关重要。以往的神经架构搜索（NAS）方法聚焦于图像分类，通常忽略了高分辨率表征的学习。本文提出一种新颖的 NAS 方法，称为 HR-NAS，它能够在保持高分辨率表征的同时有效编码多尺度上下文信息，从而为不同任务找到高效且准确的网络。在 HR-NAS 中，我们革新了 NAS 的搜索空间及其搜索策略。为了在 HR-NAS 的搜索空间中更好地编码多尺度图像上下文，我们首先精心设计了轻量级 transformer，其计算复杂度可针对不同目标函数与计算预算动态变化。为保持所学网络的高分辨率表征，HR-NAS 采用受 HRNet 启发的多分支架构，提供多种特征分辨率上的卷积编码。最后，我们提出一种高效的细粒度搜索策略来训练 HR-NAS，该策略有效探索搜索空间，并在给定各类任务与计算资源下找到最优架构。HR-NAS 仅以较小的计算预算，就能在三个密集预测任务和一个图像分类任务上实现性能与 FLOPs 之间的 SOTA 权衡。例如，HR-NAS 超越了专为语义分割设计的 SqueezeNAS，同时将效率提升 45.9%。代码见 https://github.com/dingmyu/HR-NAS
引用
@article{arxiv.2106.06560,
title = {HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers},
author = {Mingyu Ding and Xiaochen Lian and Linjie Yang and Peng Wang and Xiaojie Jin and Zhiwu Lu and Ping Luo},
journal= {arXiv preprint arXiv:2106.06560},
year = {2021}
}
备注
Accepted by CVPR 2021 (Oral)