人类引导的多保真度超参数优化的干预报告
计算与语言
2025-05-16 v1 机器学习
摘要
本案例研究将分阶段的超参数优化过程应用于比较利用多阶段学习率调度和优化器参数分组的多任务自然语言模型变体。我们采用利用多保真度、超参数空间修剪、渐进削减和一定程度人类指导的短期贝叶斯优化会话。我们使用 Optuna TPE 抽样器和 Hyperband 修剪器，以及 Scikit-Learn 高斯过程最小化。最初，我们使用高效的低保真度冲刺来修剪超参数空间。后续冲刺逐步增加其模型保真度并采用 Hyperband 修剪以提高效率。我们方法的第二个方面是使用元学习器来调整推理期间分类概率的阈值。我们在 Eberts 和 Ulges 提出的 2021 年联合实体和关系提取模型的变体集合上演示了我们的方法。
引用
@article{arxiv.2505.09792,
title = {Interim Report on Human-Guided Adaptive Hyperparameter Optimization with Multi-Fidelity Sprints},
author = {Michael Kamfonas},
journal= {arXiv preprint arXiv:2505.09792},
year = {2025}
}