性能预测器在神经架构搜索中有多强大？
机器学习
2021-10-29 v2 神经与进化计算
机器学习
摘要
在快速发展的神经架构搜索（NAS）领域中，早期方法需要完整训练数千个神经网络。为降低这一极高的计算成本，此后提出了数十种技术来预测神经架构的最终性能。尽管此类性能预测方法取得了成功，但由于缺乏公认的评估指标以及针对初始化时间与查询时间不同约束的优化，不同技术族之间的相互比较尚不为人所充分理解。在这项工作中，我们通过分析从学习曲线外推、到权重共享、到监督学习、再到“零成本”代理的 31 种技术，给出了对性能预测器的首个大规模研究。我们测试了多种相关性与基于排序的性能度量在各种设置下的表现，以及每种技术加速基于预测器的 NAS 框架的能力。我们的结果可作为不同设置下最佳预测器使用的建议，并且我们展示了某些预测器族可组合以实现更强的预测能力，开辟了有前景的研究方向。我们的代码包含 31 种性能预测器的库，可在 https://github.com/automl/naslib 获取。
引用
@article{arxiv.2104.01177,
title = {How Powerful are Performance Predictors in Neural Architecture Search?},
author = {Colin White and Arber Zela and Binxin Ru and Yang Liu and Frank Hutter},
journal= {arXiv preprint arXiv:2104.01177},
year = {2021}
}
备注
NeurIPS 2021