一种面向重复超参数与神经架构搜索问题的资源高效方法
机器学习
2021-07-14 v2 人工智能
摘要
本文中我们考虑重复超参数与神经架构搜索（HNAS）问题。我们提出了 Successive Halving 的一种扩展，能够利用先前 HNAS 问题中获得的信息，以节省计算资源。我们通过实验证明，我们的方案能够在保持精度且对负迁移具有鲁棒性的同时大幅降低成本。我们的方法比竞争的迁移学习方法显著更简单，为 HNAS 中的迁移学习设立了新基线。
引用
@article{arxiv.2103.16111,
title = {A resource-efficient method for repeated HPO and NAS problems},
author = {Giovanni Zappella and David Salinas and Cédric Archambeau},
journal= {arXiv preprint arXiv:2103.16111},
year = {2021}
}
备注
Accepted at AutoML workshop @ ICML 2021