困难场景下的贝叶斯错误率估计
机器学习
2025-09-24 v3 统计方法学
机器学习
摘要
贝叶斯错误率(BER)是由于数据中固有的不确定性，任何机器学习模型在可实现的泛化分类准确率上的基本极限。BER 估计器为分类问题的难度提供了洞察，并为最优分类性能设定了预期。为了具备实用性，估计器在类别分布未知的多变量问题上，还必须在有限样本下保持准确。为了确定哪些估计器满足“实用性”的最低要求，使用合成数据的蒙特卡洛模拟对其准确性进行了深入检验，以获取二分类的置信区间。为了检验估计器在真实世界应用中的可用性，引入了新的非线性多模态测试场景。在每个场景中，针对广泛的 BER 值范围，每个场景运行了 2500 次蒙特卡洛模拟。在对 k 近邻(kNN)、广义 Henze-Penrose (GHP) 散度和核密度估计(KDE)技术的比较中，结果显示 kNN 绝大多数情况下是更准确的非参数估计器。为了达到 95% 置信区间低于 5% 范围的目标，每个类别所需的最小样本数为 1000。随着添加更多特征，需要更多样本，以至于在仅有 4 个特征时每个类别就需要 2500 个样本。随着特征增加，其他估计器确实变得比 kNN 更准确，但始终未能达到目标范围。
引用
@article{arxiv.2506.03159,
title = {Bayes Error Rate Estimation in Difficult Situations},
author = {Lesley Wheat and Martin v. Mohrenschildt and Saeid Habibi},
journal= {arXiv preprint arXiv:2506.03159},
year = {2025}
}
备注
23 pages, 13 figures, 20 tables