面向 ImageNet 的大规模开集分类协议
计算机视觉与模式识别
2022-10-19 v2 机器学习
摘要
开集分类（OSC）旨在使闭集分类模型适应真实世界场景，其中分类器必须正确标注已知类别的样本，同时拒斥先前未见过的未知样本。直到最近，研究才开始探讨能够正确处理这些未知样本的算法。其中一些方法通过在训练集中纳入负样本供分类器学习拒斥，期望这些数据能提升分类器对未知类别的鲁棒性。大多数此类方法在 MNIST、SVHN 或 CIFAR 等小规模低分辨率图像数据集上评估，难以评判其对真实世界的适用性，也难以相互比较。我们提出三种开集协议，提供具有已知与未知类别间不同相似度水平的自然图像丰富数据集。这些协议由 ImageNet 类别子集构成，以提供更接近真实场景的训练与测试数据。此外，我们提出一种新的验证指标，可用于评估深度学习模型的训练是否同时处理了已知样本分类与未知样本拒斥。我们利用这些协议将两种基线开集算法与标准 SoftMax 基线进行比较，发现这些算法在训练期间见过的负样本上表现良好，在分布外检测任务上部分有效，但在存在先前未见未知类别的样本时性能下降。
引用
@article{arxiv.2210.06789,
title = {Large-Scale Open-Set Classification Protocols for ImageNet},
author = {Andres Palechor and Annesha Bhoumik and Manuel Günther},
journal= {arXiv preprint arXiv:2210.06789},
year = {2022}
}
备注
This is a pre-print of the original paper accepted at the Winter Conference on Applications of Computer Vision (WACV) 2023