用于超参数优化的深度排序集成方法
机器学习
2023-05-23 v2
摘要
自动优化机器学习算法的超参数是 AI 的主要开放问题之一。现有超参数优化（HPO）工作将近似超参数响应面的代理模型训练作为回归任务。相反，我们假设训练代理模型的最优策略是将超参数配置性能的秩作为学习排序问题来保持。为此，我们提出一种新方法，其元学习用于对各配置性能排序的神经网络代理，同时通过集成建模其不确定性。在一个包含 12 个基线、16 个 HPO 搜索空间和 86 个数据集/任务的大规模实验协议中，我们证明该方法在 HPO 中取得了新的 SOTA 结果。
引用
@article{arxiv.2303.15212,
title = {Deep Ranking Ensembles for Hyperparameter Optimization},
author = {Abdus Salam Khazi and Sebastian Pineda Arango and Josif Grabocka},
journal= {arXiv preprint arXiv:2303.15212},
year = {2023}
}
备注
Published in ICLR 2023