c-TPE：带不等式约束的树状 Parzen 估计器用于昂贵超参数优化
机器学习
2023-05-29 v4 人工智能
摘要
超参数优化（HPO）对深度学习算法的强劲性能至关重要，而现实世界应用通常在性能需求之外还施加一些约束，例如内存使用量或延迟。在这项工作中，我们提出约束 TPE（c-TPE），即对广泛使用的通用贝叶斯优化方法——树状 Parzen 估计器（TPE）——的扩展，以处理这些约束。我们提出的扩展不仅仅是现有采集函数与原始 TPE 的简单组合，而是包含了解决导致性能不佳问题的修改。我们从经验和理论上对这些修改进行了透彻分析，提供了它们如何有效克服这些挑战的见解。在实验中，我们证明 c-TPE 在 81 个带不等式约束的昂贵 HPO 上相对于现有方法表现出最佳的统计显著平均排名性能。由于缺乏基线，我们仅在附录 D 中讨论我们的方法对硬约束优化的适用性。
引用
@article{arxiv.2211.14411,
title = {c-TPE: Tree-structured Parzen Estimator with Inequality Constraints for Expensive Hyperparameter Optimization},
author = {Shuhei Watanabe and Frank Hutter},
journal= {arXiv preprint arXiv:2211.14411},
year = {2023}
}
备注
Accepted to IJCAI 2023