重探 BCE 损失用于统一分类
计算机视觉与模式识别
2024-03-13 v1
摘要
本文引入了统一分类的概念，即采用统一阈值对所有样本进行分类，而非对每个单独样本采用自适应阈值分类。我们还提出了统一分类准确率作为衡量模型在统一分类中性能的指标。此外，从一个朴素损失出发，我们数学推导出了一个适用于统一分类的损失函数，即集成了统一偏置的 BCE 函数。我们证明了统一阈值可以通过该偏置进行学习。在六个分类数据集和三个特征提取模型上的大量实验表明，与 SoftMax 损失相比，使用 BCE 损失训练的模型不仅表现出更高的统一分类准确率，还具有更高的逐样本分类准确率。此外，从 BCE 损失学习到的偏置非常接近统一分类中使用的统一阈值。由 BCE 损失训练的模型所提取的特征不仅具有统一性，还展现出更好的类内紧凑性和类间区分度，从而在人脸识别等开放集任务中产生优越的性能。
引用
@article{arxiv.2403.07289,
title = {Rediscovering BCE Loss for Uniform Classification},
author = {Qiufu Li and Xi Jia and Jiancan Zhou and Linlin Shen and Jinming Duan},
journal= {arXiv preprint arXiv:2403.07289},
year = {2024}
}