基于算子聚类的分层神经架构搜索
机器学习
2021-01-26 v5 计算机视觉与模式识别
机器学习
摘要
近来，以 DARTS 为代表的基于梯度的搜索方法显著提升了自动神经架构设计的效率。然而，近期文献对 DARTS 的泛化能力提出质疑，认为当搜索空间改变（即使用不同的候选算子集合）时，DARTS 表现不佳。诸如早停的正则化技术被提出以部分解决该问题。在本文中，我们从不同角度切入，识别出当搜索空间改变时导致 DARTS 崩溃的两个因素：（1）相似算子间的相关性引发它们之间不利的竞争，并使其相对重要性得分不可靠；（2）代理搜索阶段与最终训练之间的优化复杂度差距。基于这些发现，我们提出了一种新的分层搜索算法。凭借其算子聚类与优化复杂度匹配，该算法能在各种搜索空间中稳定地找到高性能架构。对于流行的基于单元的搜索空间的全部五种变体，所提算法在 CIFAR-10、CIFAR-100 和 ImageNet 上始终获得优于其他成熟类 DARTS 算法的最佳精度 SOTA 架构。代码见 https://github.com/susan0199/StacNAS。
引用
@article{arxiv.1909.11926,
title = {Hierarchical Neural Architecture Search via Operator Clustering},
author = {Guilin Li and Xing Zhang and Zitong Wang and Matthias Tan and Jiashi Feng and Zhenguo Li and Tong Zhang},
journal= {arXiv preprint arXiv:1909.11926},
year = {2021}
}