注意鸿沟：跨多目标度量泛化性能
机器学习
2024-02-29 v2
摘要
现代机器学习模型常考虑多目标构建，例如在最小化推理时间的同时最大化准确率。多目标超参数优化（MHPO）算法返回此类候选模型，并使用帕累托前沿的近似来评估其性能。实践中，我们还希望度量从验证集到测试集时的泛化能力。然而，部分模型可能不再为帕累托最优，这使得在测试集上量化 MHPO 方法的性能变得不明确。为此，我们提供一种新颖的评估协议，可度量 MHPO 方法的泛化性能，并研究其用于比较两个优化实验的能力。
引用
@article{arxiv.2212.04183,
title = {Mind the Gap: Measuring Generalization Performance Across Multiple Objectives},
author = {Matthias Feurer and Katharina Eggensperger and Edward Bergman and Florian Pfisterer and Bernd Bischl and Frank Hutter},
journal= {arXiv preprint arXiv:2212.04183},
year = {2024}
}