PASHA：基于渐进式资源分配的高效超参数优化与神经架构搜索
机器学习
2023-03-09 v2 机器学习
摘要
超参数优化（HPO）与神经架构搜索（NAS）是获得最佳机器学习模型的优选方法，但在实际中运行成本可能很高。当模型在大型数据集上训练时，即使用高效的多保真度方法，用HPO或NAS调参也会迅速变得令从业者难以承受。我们提出一种方法来应对在有限计算资源下调优大型数据集上训练的机器学习模型的挑战。我们的方法名为PASHA，扩展了ASHA，并能够根据需要动态分配调优过程的最大资源。实验比较表明，PASHA在消耗显著少于ASHA的计算资源的同时，识别出性能良好的超参数配置与架构。
引用
@article{arxiv.2207.06940,
title = {PASHA: Efficient HPO and NAS with Progressive Resource Allocation},
author = {Ondrej Bohdal and Lukas Balles and Martin Wistuba and Beyza Ermis and Cédric Archambeau and Giovanni Zappella},
journal= {arXiv preprint arXiv:2207.06940},
year = {2023}
}
备注
Accepted at ICLR 2023