我的深度网络性能是否好得难以置信？一种估计二分类中 Bayes 误差的直接方法
机器学习
2023-03-14 v2 机器学习
摘要
由于预测目标不可避免的不确定性，机器学习模型所能达到的预测性能存在根本限制。在分类问题中，这可由 Bayes 误差刻画，即任何分类器所能达到的最优误差。Bayes 误差可用作评估具有最先进性能的分类器的准则，并可用于检测测试集过拟合。我们提出了一种简单直接的 Bayes 误差估计器，仅取显示类分配“不确定性”的标签的均值。我们灵活的方法使得即使对弱监督数据也能进行 Bayes 误差估计。与其他方法不同，我们的方法无模型且甚至无实例。此外，它无超参数，并在经验上比若干基线给出更准确的 Bayes 误差估计。使用我们方法的实验表明，近期提出的深度网络如 Vision Transformer 可能已到达或即将到达基准数据集的 Bayes 误差。最后，我们讨论了如何通过估计 2017 至 2023 年 ICLR 论文的 Bayes 误差，来研究科学文章录用/拒稿决策的内在难度。
引用
@article{arxiv.2202.00395,
title = {Is the Performance of My Deep Network Too Good to Be True? A Direct Approach to Estimating the Bayes Error in Binary Classification},
author = {Takashi Ishida and Ikko Yamane and Nontawat Charoenphakdee and Gang Niu and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2202.00395},
year = {2023}
}
备注
ICLR 2023 (notable-top-5%)