CPMLHO：基于割平面与混合层级优化的超参数调优
机器学习
2022-12-14 v1
摘要
神经网络的超参数优化可表述为双层优化问题。双层优化用于自动更新超参数，且超参数的梯度是基于最佳响应函数的近似梯度。寻找最佳响应函数非常耗时。本文中我们提出 CPMLHO，一种利用割平面法与混合层级目标函数的新型超参数优化方法。割平面被加至内层以约束响应函数的空间。为获得更精确的超梯度，混合层级可通过使用训练集与验证集的损失灵活调整损失函数。与现有方法相比，实验结果表明我们的方法能在训练过程中自动更新超参数，并可找到精度更高、收敛更快的更优超参数。
引用
@article{arxiv.2212.06150,
title = {CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization},
author = {Shuo Yang and Yang Jiao and Shaoyu Dou and Mana Zheng and Chen Zhu},
journal= {arXiv preprint arXiv:2212.06150},
year = {2022}
}