GOLD-NAS：渐进式、单层、可微分
计算机视觉与模式识别
2020-07-08 v1 机器学习
神经与进化计算
摘要
神经架构搜索已有大量文献，但多数现有工作利用启发式规则，在很大程度上限制了搜索灵活性。本文中，我们首先放宽这些人工设计的约束，并将搜索空间扩大至包含超过 个候选方案。在新空间中，多数现有可微分搜索方法会严重失效。我们随后提出一种名为渐进式单层可微分神经架构搜索（GOLD-NAS）的新算法，其将可变资源约束引入单层优化，从而弱算子逐渐从超网络中剪除。在标准图像分类基准上，GOLD-NAS 可在单次搜索过程中找到一系列帕累托最优架构。多数被发现的架构此前未被研究，但它们在识别精度与模型复杂度之间实现了良好权衡。我们相信新空间与搜索算法能推动可微分 NAS 的搜索。
引用
@article{arxiv.2007.03331,
title = {GOLD-NAS: Gradual, One-Level, Differentiable},
author = {Kaifeng Bi and Lingxi Xie and Xin Chen and Longhui Wei and Qi Tian},
journal= {arXiv preprint arXiv:2007.03331},
year = {2020}
}
备注
14 pages, 5 figures