Auto-Panoptic：面向全景分割的协同多组件架构搜索
计算机视觉与模式识别
2020-11-02 v1 机器学习
图像与视频处理
摘要
全景分割已成为最先进的整体场景理解方法的新兴流行试验台，其要求同时分割前景事物（things）与背景物质（stuff）。最先进的全景分割网络在不同网络组件中表现出高度的结构复杂性，即骨干网络、基于提议的前景分支、基于分割的背景分支以及跨分支的特征融合模块，这严重依赖专家知识与繁琐的试错。在本工作中，我们提出一种高效、协同且高度自动化的框架，基于流行的一次性网络架构搜索（NAS）范式，在全景分割统一流水线中同时搜索所有主要组件，包括骨干网络、分割分支和特征融合模块。值得注意的是，我们通过利用新提出的模块内搜索空间与面向问题的模块间搜索空间，将常见的单任务 NAS 扩展至多组件场景，这帮助我们获得一种最优网络架构，不仅在实例分割与语义分割任务上表现良好，而且能感知前景事物与背景物质类别间的相互关联。为缓解将 NAS 应用于复杂网络架构所带来的巨大计算负担，我们提出一种新颖的路径优先贪婪搜索策略，以显著减少搜索开销，找到鲁棒且可迁移的架构。我们搜索得到的架构，即 Auto-Panoptic，在具挑战性的 COCO 和 ADE20K 基准上取得了新的最优（SOTA）。此外，我们进行了大量实验以证明路径优先策略的有效性以及 Auto-Panoptic 跨不同数据集的可迁移性。代码与模型见：https://github.com/Jacobew/AutoPanoptic。
引用
@article{arxiv.2010.16119,
title = {Auto-Panoptic: Cooperative Multi-Component Architecture Search for Panoptic Segmentation},
author = {Yangxin Wu and Gengwei Zhang and Hang Xu and Xiaodan Liang and Liang Lin},
journal= {arXiv preprint arXiv:2010.16119},
year = {2020}
}
备注
NeurIPS2020