实现贝叶斯最优分类精度的神经网络通用训练方法
机器学习
2025-01-15 v1 计算机视觉与模式识别
信息论
图像与视频处理
信号处理
math.IT
摘要
本工作引入 -散度的概念，为一般分类任务的贝叶斯错误率引入了一个新的上界。我们表明，所提出的上界可以通过从参数化模型的输出中进行采样来计算。利用这一实用解释，我们引入了贝叶斯最优学习阈值（BOLT）损失，其最小化迫使分类模型实现贝叶斯错误率。我们在图像和文本分类任务上验证了所提出的损失，考虑了 MNIST、Fashion-MNIST、CIFAR-10 和 IMDb 数据集。数值实验表明，使用 BOLT 训练的模型实现了与交叉熵持平或更优的性能，特别是在具有挑战性的数据集上。这突显了 BOLT 在提升泛化能力方面的潜力。
引用
@article{arxiv.2501.07754,
title = {Universal Training of Neural Networks to Achieve Bayes Optimal Classification Accuracy},
author = {Mohammadreza Tavasoli Naeini and Ali Bereyhi and Morteza Noshad and Ben Liang and Alfred O. Hero},
journal= {arXiv preprint arXiv:2501.07754},
year = {2025}
}
备注
Accepted to ICASSP 2025