DOTS：在可微架构搜索中解耦操作与拓扑
计算机视觉与模式识别
2021-04-09 v3
摘要
可微架构搜索（DARTS）因在搜索单元结构方面的高效性而受到广泛关注。DARTS 主要关注操作搜索，并从操作权重导出单元拓扑。然而，操作权重无法指示单元拓扑的重要性，导致拓扑排序正确性较差。为此，我们提出解耦操作与拓扑搜索（DOTS），将拓扑表示与操作权重解耦，并进行显式拓扑搜索。DOTS 通过引入包含候选边组合的拓扑搜索空间来实现。所提出的搜索空间直接反映搜索目标，并可轻松扩展以支持所搜索单元中灵活数量的边。现有的基于梯度的 NAS 方法可融入 DOTS，通过拓扑搜索进一步改进。考虑到某些操作（如 Skip-Connection）会影响拓扑，我们提出分组操作搜索方案以保留与拓扑相关的操作，从而实现更好的拓扑搜索。在 CIFAR10/100 和 ImageNet 上的实验表明，DOTS 是可微 NAS 的一种有效解决方案。
引用
@article{arxiv.2010.00969,
title = {DOTS: Decoupling Operation and Topology in Differentiable Architecture Search},
author = {Yu-Chao Gu and Li-Juan Wang and Yun Liu and Yi Yang and Yu-Huan Wu and Shao-Ping Lu and Ming-Ming Cheng},
journal= {arXiv preprint arXiv:2010.00969},
year = {2021}
}