OODformer：分布外检测 Transformer
计算机视觉与模式识别
2021-12-07 v2
摘要
图像分类中的一个严重问题是，训练好的模型对于与模型训练可用数据同分布的输入数据可能表现良好，但对于分布外（OOD）样本则表现差得多。尤其在现实世界的安全关键应用中，感知一个新数据点是否为 OOD 十分重要。迄今为止，OOD 检测通常通过置信度分数、基于自编码器的重构或对比学习来解决。然而，全局图像上下文尚未被探索用于区分分布内与 OOD 样本之间的非局部对象性。本文提出了一种名为 OODformer 的首次此类 OOD 检测架构，其利用了 transformer 的上下文建模能力。将 transformer 作为主特征提取器，使我们能够通过视觉注意力利用对象概念及其判别属性以及它们的共现关系。利用上下文化嵌入，我们展示了同时使用类条件潜空间相似度和网络置信度分数进行 OOD 检测。我们的方法在各种数据集上展现出改进的泛化能力。我们在 CIFAR-10/-100 和 ImageNet30 上取得了新的 SOTA 结果。
引用
@article{arxiv.2107.08976,
title = {OODformer: Out-Of-Distribution Detection Transformer},
author = {Rajat Koner and Poulami Sinhamahapatra and Karsten Roscher and Stephan Günnemann and Volker Tresp},
journal= {arXiv preprint arXiv:2107.08976},
year = {2021}
}