机器学习基准性能中的多重性考量
统计方法学
2025-07-16 v6 机器学习
摘要
最先进（SOTA）性能指某模型在测试样本上达到的最高性能，最好是在受控条件下如公开数据（可复现）或公开挑战赛（独立样本）。成千上万分类器被应用，最高性能成为特定问题的新参考点。实际上，该设置是对应用于随机样本的所有分类器期望最佳性能的估计；一种样本最大值估计。本文主张，SOTA 应改为由最佳分类器的期望性能来估计，这可在不知哪个分类器最佳的情况下完成。我们的贡献是对二者进行形式化区分，并考察以前者估计后者所带来的实际后果。为此，我们给出非同分布且相关分类器的样本最大值估计量分布。我们通过公开挑战赛的真实世界例子说明其影响。
引用
@article{arxiv.2303.07272,
title = {Accounting for multiplicity in machine learning benchmark performance},
author = {Kajsa Møllersen and Einar Holsbø},
journal= {arXiv preprint arXiv:2303.07272},
year = {2025}
}