大规模开集图像分类技术评估
计算机视觉与模式识别
2024-06-14 v1 人工智能
机器学习
摘要
分类的目标是正确地为未见样本分配标签。然而，大多数方法会误分类带有未见标签的样本，并将其分配给已知类别中的一个。开集分类（Open-Set Classification, OSC）算法旨在最大化封闭集和开集识别能力。最近的研究在小规模数据集上展示了此类算法的实用性，但由于实验有限，难以评估其在实际问题中的表现。本文提供了对各种OSC算法的全面比较，包括训练型方法（SoftMax、Garbage、EOS）和后处理方法（Maximum SoftMax Scores、Maximum Logit Scores、OpenMax、EVM、PROSER），后者应用在前者的特征上。我们在三个大规模协议上进行评估，这些协议模仿实际挑战，在已知和负样本上进行训练，在已知和未知实例上进行测试。我们的结果表明，EOS能几乎提高所有后处理算法的性能。特别是，OpenMax和PROSER能够利用更好的训练网络，显示出混合模型的实用性。然而，尽管大多数算法在负测试样本上表现良好——即训练期间看到的开集类别样本——但在测试之前未见的未知类别样本时，尤其是在具有挑战性的条件下， tends to表现较差。
引用
@article{arxiv.2406.09112,
title = {Large-Scale Evaluation of Open-Set Image Classification Techniques},
author = {Halil Bisgin and Andres Palechor and Mike Suter and Manuel Günther},
journal= {arXiv preprint arXiv:2406.09112},
year = {2024}
}