PED-ANOVA：在任意子空间中高效量化超参数重要性
机器学习
2023-05-29 v4 机器学习
摘要
近年来深度学习超参数优化（HPO）的流行凸显了良好的超参数（HP）空间设计在训练强模型中所起的作用。进而，设计良好的 HP 空间关键依赖于理解不同 HP 的作用。这推动了关于 HP 重要性（HPI）的研究，例如使用流行的函数型 ANOVA（f-ANOVA）方法。然而，最初的 f-ANOVA 公式不适用于与算法设计者最相关的子空间，例如由顶尖性能定义的子空间。为克服此问题，我们推导了适用于任意子空间的 f-ANOVA 新公式，并提出了一种利用皮尔逊散度（PED）实现 HPI 闭式计算的算法。我们证明这一被称为 PED-ANOVA 的新算法能够成功识别不同子空间中的重要 HP，同时具有极高的计算效率。
引用
@article{arxiv.2304.10255,
title = {PED-ANOVA: Efficiently Quantifying Hyperparameter Importance in Arbitrary Subspaces},
author = {Shuhei Watanabe and Archit Bansal and Frank Hutter},
journal= {arXiv preprint arXiv:2304.10255},
year = {2023}
}
备注
Accepted by IJCAI2023