利用高性能计算与量子退火对深度学习模型超参数优化进行模型性能预测
机器学习
2023-11-30 v1 数据分析、统计与概率
摘要
基于深度学习的模型的超参数优化（HPO）往往是一个计算资源密集型过程，因为它通常需要用许多不同的超参数配置来训练目标模型。我们表明，将模型性能预测与早停方法相结合对于加速深度学习模型的HPO过程具有巨大潜力。此外，我们提出了一种称为Swift-Hyperband的新算法，该算法可以使用经典或量子支持向量回归进行性能预测，并从分布式高性能计算环境中受益。该算法不仅在用于高能物理的机器学习粒子流模型上进行了测试，还在来自计算机视觉和自然语言处理等领域的更广泛的目标模型上进行了测试。Swift-Hyperband在所有测试案例中均被证明能找到可比（或更好）的超参数，并且使用更少的计算资源。
引用
@article{arxiv.2311.17508,
title = {Model Performance Prediction for Hyperparameter Optimization of Deep Learning Models Using High Performance Computing and Quantum Annealing},
author = {Juan Pablo García Amboage and Eric Wulff and Maria Girone and Tomás F. Pena},
journal= {arXiv preprint arXiv:2311.17508},
year = {2023}
}