树形结构Parzen估计器能更高效地解决黑盒组合优化问题
机器学习
2025-07-16 v2 人工智能
摘要
树形结构Parzen估计器是一种通用的超参数优化方法，受到流行的HPO工具支持。由于这些HPO工具是随着深度学习的发展趋势而开发的，因此TPE中经常讨论DL领域常用的问题设置，例如多目标优化和多保真度优化。然而，HPO的实际应用并不仅限于DL，黑盒组合优化在化学和生物学等一些领域中被积极使用。由于组合优化在TPE中是一个尚未触及但非常重要的课题，我们提出了一种高效的TPE组合优化算法。在本文中，我们首先将TPE中的类别核与数值核进行泛化，从而能够为类别核引入距离结构。然后，我们讨论了为新开发的核处理大型组合搜索空间所需的修改。这些修改降低了核计算相对于组合搜索空间大小的时间复杂度。在使用合成问题的实验中，我们验证了所提出的方法能够比原始TPE用更少的评估次数找到更好的解。我们的算法可在超参数优化的开源框架Optuna中获得。
关键词
引用
@article{arxiv.2507.08053,
title = {Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently},
author = {Kenshin Abe and Yunzhuo Wang and Shuhei Watanabe},
journal= {arXiv preprint arXiv:2507.08053},
year = {2025}
}
备注
Submitted to AutoML Conference