静态代理在超参数优化中的使用
最优化与控制
2021-03-16 v1 人工智能
摘要
优化神经网络的超参数与架构是开发任何新应用过程中漫长却必要的阶段。这一耗时的过程可受益于精心设计的策略，以快速舍弃低质量配置并聚焦于更有希望的候选。本工作旨在增强 HyperNOMAD——一个适配直接搜索无导数优化算法以同时调优神经网络架构与训练的库——通过针对其执行中的两个关键步骤，并利用静态代理形式的廉价近似来触发配置评估的早停与候选池的排序。这些对 HyperNOMAD 的增补被证明能在不损害所提解质量的前提下改善其资源消耗。
引用
@article{arxiv.2103.07963,
title = {Use of static surrogates in hyperparameter optimization},
author = {Dounia Lakhmiri and Sébastien Le Digabel},
journal= {arXiv preprint arXiv:2103.07963},
year = {2021}
}
备注
http://www.optimization-online.org/DB_HTML/2021/03/8296.html