BTTackler：基于诊断的高效深度学习超参数优化框架
机器学习
2026-03-02 v1
摘要
深度学习中的超参数优化（HPO）已知计算成本高昂，尤其是在利用自动化方法时。大多数现有自动化HPO方法基于准确率，即使用准确率指标指导特定搜索空间内不同超参数配置的试验。然而，许多试验可能遇到严重的训练问题，如梯度消失和收敛不足，这些问题在训练早期几乎无法被准确率指标所反映，常导致性能不佳。这会导致优化轨迹效率低下，因为差的试验占用了大量计算资源，降低了在时间限制内找到优秀超参数配置的概率。本文提出了Bad Trial Tackler（BTTackler），一种 novel HPO框架，引入训练诊断以自动识别训练问题，从而解决差试验。BTTackler通过计算一组精心设计的量化指标来诊断每个试验，并在检测到任何训练问题时触发早期终止。对代表性HPO任务进行评估，包括三个经典深度神经网络（DNN）和四个广泛使用的HPO方法。为更好地量化自动化HPO方法的效果，我们提出了基于准确率和时间消耗的两个新度量。结果表明，BTTackler在两个方面都具有优势：（1）在平均情况下，相较于基线方法，BTTackler将实现相同准确率所需的时间消耗减少40.33%；（2）在给定时间预算内，BTTackler比基线方法多进行44.5%的top-10试验。我们还发布了一个开源的Python库，允许用户通过最小的代码更改轻松将BTTackler应用于自动化HPO流程。
引用
@article{arxiv.2602.23630,
title = {BTTackler: A Diagnosis-based Framework for Efficient Deep Learning Hyperparameter Optimization},
author = {Zhongyi Pei and Zhiyao Cen and Yipeng Huang and Chen Wang and Lin Liu and Philip Yu and Mingsheng Long},
journal= {arXiv preprint arXiv:2602.23630},
year = {2026}
}