树形Parzen估计器：理解其算法组件及其作用以提升经验性能
机器学习
2025-10-01 v4 人工智能
摘要
近期的科学进展需要复杂的实验设计，从而必须对许多实验参数进行精细调优。树形Parzen估计器（Tree-structured Parzen estimator, TPE）是近期参数调优框架（如 Hyperopt 和 Optuna）中广泛使用的贝叶斯优化方法。尽管其很流行，但 TPE 中各控制参数的作用及其算法直觉迄今尚未被讨论。本文的目标是基于使用多种基准数据集的消融研究，识别各控制参数的作用及其对参数调优的影响。由消融研究得出的推荐设置被证明可改善 TPE 的性能。本文所用的 TPE 实现可在 https://github.com/nabenabe0928/tpe/tree/single-opt 获取。
引用
@article{arxiv.2304.11127,
title = {Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance},
author = {Shuhei Watanabe},
journal= {arXiv preprint arXiv:2304.11127},
year = {2025}
}