面向结构化响应的迭代学习器的贝叶斯优化：一种预算感知规划方法
机器学习
2023-02-28 v3 人工智能
摘要
深度神经网络（DNN）与数据集规模的日益增长，催生了对模型选择与训练同时进行之高效方案的需求。许多针对迭代学习器（包括 DNN）的超参数优化（HPO）方法试图通过查询并学习响应曲面，同时搜索该曲面的最优解来解决此问题。然而，这类方法多做出短视查询，未考虑关于响应结构的先验知识，和/或进行有偏的成本感知搜索，在给定总成本预算时均会加剧最优模型的识别难度。本文提出一种称为迭代学习器预算感知规划（BAPI）的新方法，用于在受限成本预算下求解 HPO 问题。BAPI 是一种高效的非短视贝叶斯优化方案，它考量预算并利用关于目标函数与成本函数的先验知识，以选取更优配置并在评估（训练）过程中做出更明智的决策。在面向迭代学习器的多种 HPO 基准上的实验表明，BAPI 在大多数情况下优于最先进的基线方法。
引用
@article{arxiv.2206.12708,
title = {Bayesian Optimization Over Iterative Learners with Structured Responses: A Budget-aware Planning Approach},
author = {Syrine Belakaria and Janardhan Rao Doppa and Nicolo Fusi and Rishit Sheth},
journal= {arXiv preprint arXiv:2206.12708},
year = {2023}
}