通过传播网络编码学习通用神经架构
计算机视觉与模式识别
2022-02-18 v2
摘要
本工作探索如何设计单个能够适应多个异构视觉任务（如图像分割、3D 检测与视频识别）的神经网络。该目标具有挑战性，因为不同任务中的网络架构搜索（NAS）空间与方法均不一致。我们从两方面解决此挑战。我们首先引入多任务的统一设计空间，并在许多广泛使用的数据集（包括 ImageNet、Cityscapes、KITTI 与 HMDB51）上构建多任务 NAS 基准（NAS-Bench-MR）。我们进一步提出网络编码传播（NCP），其通过反向传播神经预测器的梯度，沿期望梯度方向直接更新架构编码以解决各种任务。如此，最优架构配置可由 NCP 在数秒内于我们的大型搜索空间中找到。与通常聚焦于单一任务的先前 NAS 方法不同，NCP 具有若干独特优势。（1）NCP 将架构优化从数据驱动转为架构驱动，使其能在具有不同数据分布的多任务间联合搜索架构。（2）NCP 从网络编码而非原始数据学习，使其能跨数据集高效更新架构。（3）除我们的 NAS-Bench-MR 外，NCP 在其他 NAS 基准（如 NAS-Bench-201）上表现良好。（4）对 NCP 在任务内、跨任务与任务间上的深入研究凸显了跨任务神经架构设计的重要性，即多任务神经架构与不同任务间的架构迁移。代码见 https://github.com/dingmyu/NCP。
引用
@article{arxiv.2103.13253,
title = {Learning Versatile Neural Architectures by Propagating Network Codes},
author = {Mingyu Ding and Yuqi Huo and Haoyu Lu and Linjie Yang and Zhe Wang and Zhiwu Lu and Jingdong Wang and Ping Luo},
journal= {arXiv preprint arXiv:2103.13253},
year = {2022}
}
备注
ICLR 2022. Project page: https://network-propagation.github.io