不要重复标注：在预算约束下比较二分类器时数量胜过质量
机器学习
2026-04-09 v3
摘要
我们研究如何在噪声标签预算下最优地比较两个二分类器的准确率。常见做法是针对给定数据点收集多个噪声标签，并通过多数投票将其聚合为噪声更小的标签。我们证明了一个与常规认知相悖的定理。如果目标是识别两个分类器中较好的一个，我们表明将预算用于为更多样本收集单个标签是最佳选择。我们的结果源于对大偏差理论中核心定理 Cramér 定理的非平凡应用。我们讨论了本研究对机器学习基准测试设计的启示，其中推翻了一些由来已久的建议。此外，我们的结果提供了优于由 Hoeffding 界推导出的样本量界。
引用
@article{arxiv.2402.02249,
title = {Don't Label Twice: Quantity Beats Quality when Comparing Binary Classifiers on a Budget},
author = {Florian E. Dorner and Moritz Hardt},
journal= {arXiv preprint arXiv:2402.02249},
year = {2026}
}
备注
34 pages, 3 Figures, Published at ICML 2024