RANK-NOSH：基于非均匀逐次减半的高效预测器架构搜索
机器学习
2021-08-19 v1 人工智能
计算机视觉与模式识别
摘要
基于预测器的算法在神经架构搜索（NAS）任务中取得了卓越性能。然而，这些方法计算成本高昂，因为训练性能预测器通常需要从头训练并评估数百个架构。此前该方向的工作主要聚焦于减少拟合预测器所需架构的数量。本文从另一角度应对该挑战——通过削减架构训练的计算预算来提升搜索效率。我们提出非均匀逐次减半（NOSH），一种分层调度算法，可提前终止表现不佳架构的训练以避免预算浪费。为有效利用NOSH产生的非均匀监督信号，我们将基于预测器的架构搜索表述为带成对比较的学习排序问题。所得方法RANK-NOSH将搜索预算降低约5倍，同时在多个搜索空间与数据集上取得与先前最先进基于预测器的方法相当甚至更优的性能。
引用
@article{arxiv.2108.08019,
title = {RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving},
author = {Ruochen Wang and Xiangning Chen and Minhao Cheng and Xiaocheng Tang and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2108.08019},
year = {2021}
}
备注
To Appear in ICCV2021. The code will be released shortly at https://github.com/ruocwang