条件 PED-ANOVA：分层与动态搜索空间中的超参数重要性
机器学习
2026-02-10 v2 人工智能
摘要
我们提出条件 PED-ANOVA(condPED-ANOVA)，这是一套原则化的框架，用于估计条件搜索空间中超参数重要性(HPI)。在条件搜索空间中，超参数的存在或取值范围可以依赖于其他超参数。虽然原始 PED-ANOVA 提供了一种快速高效的方式来估计搜索空间顶部区域内的HPI，但其假设的是固定的、无条件的搜索空间，因此无法正确处理条件超参数。为此，我们引入条件HPI用于顶部高性能区域并推导出闭式估计器，以准确反映条件激活和域变化。实验表明，现有HPI估计器的简单改编在条件设置下会产生误导性或不可解释的重要性，而condPED-ANOVA持续提供反映底层条件结构的有意义重要性。我们的代码已公开于 https://github.com/kAIto47802/condPED-ANOVA。
引用
@article{arxiv.2601.20800,
title = {Conditional PED-ANOVA: Hyperparameter Importance in Hierarchical & Dynamic Search Spaces},
author = {Kaito Baba and Yoshihiko Ozaki and Shuhei Watanabe},
journal= {arXiv preprint arXiv:2601.20800},
year = {2026}
}
备注
19 pages, 14 figures