联合调优硬件与超参数的多目标视角
机器学习
2021-06-11 v1
摘要
除了最佳模型架构和超参数外，完整的 AutoML 解决方案还需自动选择合适的硬件。这可框定为多目标优化问题：不存在单一最佳硬件配置，而是一组在成本与运行时间之间实现不同权衡的最优配置。实践中，某些选择可能成本过高或需数日训练。为减轻此负担，我们采用多目标方法，在神经架构及其超参数之外自动选择并适配硬件配置。我们的方法构建于 Hyperband 之上并从其两方面扩展。首先，我们将 Hyperband 中使用的停止规则替换为非支配排序规则，以 preemptively 停止无前景的配置。其次，我们通过迁移学习利用相关任务的超参数评估，构建 Pareto 前沿的概率估计，比随机搜索更高效地发现前景配置。我们在广泛的 NAS 和 HPO 实验中表明，两种成分均带来显著的加速与成本节约，且对准确率影响极小乃至无影响。在硬件与超参数一并选择的三个基准中，我们分别获得了至少 5.8 倍和 8.8 倍的运行时间与成本缩减。此外，当将我们的多目标方法仅应用于超参数调优时，我们在两个流行 NAS 基准上于保持相同准确率的同时获得了 10% 的运行时间改进。
引用
@article{arxiv.2106.05680,
title = {A multi-objective perspective on jointly tuning hardware and hyperparameters},
author = {David Salinas and Valerio Perrone and Olivier Cruchant and Cedric Archambeau},
journal= {arXiv preprint arXiv:2106.05680},
year = {2021}
}