通过辅助单元快速神经架构搜索紧凑语义分割模型
计算机视觉与模式识别
2019-05-20 v3
摘要
为特定任务自动设计神经网络架构是一条极具前景但固有困难的探索途径。尽管该领域多数成果在图像分类与语言建模问题上取得，此处我们聚焦于稠密逐像素任务，特别是使用全卷积网络的语义图像分割。与上述领域不同，全卷积网络的设计选择需要若干改变，从所需使用的操作种类（例如空洞卷积）到求解更困难的优化问题。在本工作中，我们尤其感兴趣于搜索高性能紧凑分割架构，使其能在有限资源下实时运行。为此，我们在训练期间通过一组提供中间监督信号且可在评估阶段省略的辅助单元故意过参数化架构。辅助单元的设计由一个控制器给出，该控制器是具有固定结构并使用强化学习训练的神经网络。更关键的是，我们展示了如何在有限时间与计算预算内高效搜索这些架构。特别地，我们依赖于一种渐进策略来终止非前景架构的进一步训练，并采用 Polyak 平均与知识蒸馏相结合以加速收敛。在数量上，在 8 GPU-天内，我们的方法发现了一组在紧凑模型中对语义分割、姿态估计与深度预测任务达到与最先进水平(state-of-the-art)相当性能的架构。代码将在此提供：https://github.com/drsleep/nas-segm-pytorch
引用
@article{arxiv.1810.10804,
title = {Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells},
author = {Vladimir Nekrasov and Hao Chen and Chunhua Shen and Ian Reid},
journal= {arXiv preprint arXiv:1810.10804},
year = {2019}
}
备注
To appear in CVPR 2019. CityScapes results with ResNet-50 are added