互感知子图可微架构搜索
计算机视觉与模式识别
2021-11-09 v3
摘要
可微架构搜索因其简单高效在 NAS 领域十分流行，其中多路径算法与单路径方法两类范式占主导。多路径框架（如 DARTS）直观但受限于内存占用和训练崩溃。单路径方法（如 GDAS 和 ProxylessNAS）缓解了内存问题并缩小了搜索与评估间的差距，但牺牲了性能。本文中，我们提出一种概念简单却高效的方法来桥接这两类范式，称为互感知子图可微架构搜索 (MSG-DAS)。我们框架的核心是一个可微的 Gumbel-TopK 采样器，其产生多个互斥的单路径子图。为缓解多子图设置带来的更严重的跳过连接问题，我们提出 Dropblock-Identity 模块以稳定优化。为充分利用可用模型（超网与子图），我们引入内存高效的超网引导蒸馏以改进训练。所提框架在灵活内存占用与搜索质量间取得平衡。我们在 ImageNet 和 CIFAR10 上证明了方法的有效性，所搜模型表现出与最新方法相当的性能。
引用
@article{arxiv.2107.04324,
title = {Mutually-aware Sub-Graphs Differentiable Architecture Search},
author = {Haoxian Tan and Sheng Guo and Yujie Zhong and Matthew R. Scott and Weilin Huang},
journal= {arXiv preprint arXiv:2107.04324},
year = {2021}
}