面向高效多目标优化的动态超参数重要性
机器学习
2026-05-07 v2
摘要
选择合适的机器学习模型是一项复杂任务，可能取决于多个目标，例如准确率、公平性或能源消耗。实际应用中，这需要通过多目标优化（MOO）来权衡多个常常相互竞争的目标。然而，现有的 MOO 方法通常将所有超参数视为 equally important，忽略了超参数重要性（HPI）可能在不同目标之间发生显著变化。我们提出了一种新颖的动态优化方法，根据搜索过程中目标权衡的变化，优先选择最具影响力的超参数，从而加速经验收敛。我们将先前用于 MOO 的 HPI 方法 HyperSHAP 从后期分析推进到优化内的直接、动态集成。为此，我们利用 MOO 算法 ParEGO 自然产生的目标权重，并通过固定不重要的超参数来缩小配置空间，使搜索聚焦于重要参数。最终，我们在 PyMOO 和 YAHPO-Gym 的 diverse 任务上评估了该方法。对于 HPO，集成 HPI 可实现最终帕累托前沿质量提升最高达 24%，而在合成数据上，集成 HPI 实现最终结果提升 2 倍。
引用
@article{arxiv.2601.03166,
title = {Dynamic Hyperparameter Importance for Efficient Multi-Objective Optimization},
author = {Daphne Theodorakopoulos and Marcel Wever and Marius Lindauer},
journal= {arXiv preprint arXiv:2601.03166},
year = {2026}
}