评估最先进分类模型相对于贝叶斯最优性的表现
机器学习
2021-06-08 v1 机器学习
摘要
评估给定数据驱动分类问题的内在难度,对于建立绝对基准和评估该领域的进展十分重要。为此,一个自然的考量量是贝叶斯误差(Bayes error),它衡量了对于给定数据分布理论上可达到的最优分类误差。尽管这通常是一个难以处理的量,我们表明可以计算使用归一化流学习的生成模型的精确贝叶斯误差。我们的技术依赖于一个基本结论,即贝叶斯误差在可逆变换下保持不变。因此,我们可以通过计算高斯基分布的贝叶斯误差来求得所学流模型的精确贝叶斯误差,而后者可利用Holmes-Diaconis-Ross积分高效完成。此外,我们表明通过改变所学流模型的温度,我们可以生成与标准基准数据集极为相似、但具有几乎任意期望贝叶斯误差的合成数据集。我们利用该方法对最先进的分类模型进行了深入调研,发现某些——但并非全部——情况下,这些模型能够取得非常接近最优的准确率。最后,我们利用我们的方法评估了标准基准数据集及其类别的内在“难度”。
引用
@article{arxiv.2106.03357,
title = {Evaluating State-of-the-Art Classification Models Against Bayes Optimality},
author = {Ryan Theisen and Huan Wang and Lav R. Varshney and Caiming Xiong and Richard Socher},
journal= {arXiv preprint arXiv:2106.03357},
year = {2021}
}