迈向鲁棒且自动的超参数调优
机器学习
2021-12-14 v2 人工智能
摘要
由于同时优化模型权重与超参数的不可处理性，超参数优化（HPO）任务背负着沉重的计算代价。在本工作中，我们引入一类新的HPO方法，并探索如何利用卷积神经网络中间层卷积权重的低秩分解来定义仅使用训练数据优化超参数的解析响应面。我们量化了该响应面作为模型性能代理的行为，并可使用一种信赖域搜索算法求解，我们称之为autoHyper。该算法优于贝叶斯优化等SOTA方法，且可泛化至模型、优化器与数据集的选择。我们的代码见 \url{https://github.com/MathieuTuli/autoHyper}。
引用
@article{arxiv.2111.14056,
title = {Towards Robust and Automatic Hyper-Parameter Tunning},
author = {Mathieu Tuli and Mahdi S. Hosseini and Konstantinos N. Plataniotis},
journal= {arXiv preprint arXiv:2111.14056},
year = {2021}
}
备注
NeurIPS-OPT2021: 13th Annual Workshop on Optimization for Machine Learning