用分层可微架构搜索释放搜索空间
计算机视觉与模式识别
2021-01-13 v2
摘要
可微架构搜索（DAS）在以更低计算成本搜索高性能架构方面取得了巨大进展。然而，基于 DAS 的方法主要聚焦于搜索可重复的细胞结构，随后将其按顺序堆叠于多个阶段以构成网络。这种配置显著缩小了搜索空间，并忽视了细胞间连接的重要性。为克服该局限，本文提出分层可微架构搜索（H-DAS），在细胞级和阶段级均进行架构搜索。具体而言，放松细胞级搜索空间，使网络能够学习特定于阶段的细胞结构。对于阶段级搜索，我们系统性地研究了阶段的架构，包括每阶段的细胞数量及细胞间连接。基于深入观察，我们设计了若干搜索规则与损失，并成功搜索出更优的阶段级架构。这种分层搜索空间在不过度引入搜索成本的情况下大幅提升了网络性能。在 CIFAR10 和 ImageNet 上的大量实验证明了所提 H-DAS 的有效性。此外，搜索得到的阶段级架构可与现有 DAS 方法搜索出的细胞结构结合以进一步提升性能。代码见：https://github.com/MalongTech/research-HDAS
引用
@article{arxiv.2101.04028,
title = {Unchain the Search Space with Hierarchical Differentiable Architecture Search},
author = {Guanting Liu and Yujie Zhong and Sheng Guo and Matthew R. Scott and Weilin Huang},
journal= {arXiv preprint arXiv:2101.04028},
year = {2021}
}
备注
To appear in AAAI2021. Code is available