通过自适应子集选择加速神经架构搜索
机器学习
2022-11-04 v1
摘要
近期神经架构搜索（NAS）的大部分进展都旨在降低各种技术的计算成本而不影响其最终性能。为实现这一目标，人们考虑了若干低保真与性能预测方法，包括仅在训练数据子集上训练的方法。在这项工作中，我们提出一种用于NAS的自适应子集选择方法，并将其作为最先进NAS方法的补充。我们揭示了单步NAS算法与自适应子集选择之间的自然联系，并设计了一种利用两个领域最先进技术的算法。我们利用这些技术在不牺牲精度的情况下，大幅降低了DARTS-PT（一种领先的单步NAS算法）以及BOHB和DEHB（领先的多保真优化算法）的运行时间。我们的结果在多个数据集上保持一致，并且为了完全可复现，我们在 https: //anonymous.4open.science/r/SubsetSelection NAS-B132 发布了代码。
引用
@article{arxiv.2211.01454,
title = {Speeding up NAS with Adaptive Subset Selection},
author = {Vishak Prasad C and Colin White and Paarth Jain and Sibasis Nayak and Ganesh Ramakrishnan},
journal= {arXiv preprint arXiv:2211.01454},
year = {2022}
}