结合预训练 Vision Transformers 与 CIDER 进行分布外检测
计算机视觉与模式识别
2023-09-07 v1 人工智能
摘要
分布外（OOD）检测是工业应用中的关键组件，因为它有助于识别模型遇到训练分布之外输入的情况。大多数工业流水线依赖预训练模型用于下游任务，如 CNN 或 Vision Transformers。本文研究这些模型在分布外检测任务上的性能。我们的实验表明，预训练的 transformer 模型在开箱即用时即获得更高的检测性能。此外，我们展示预训练的 ViT 和 CNN 可与诸如 CIDER 的精炼方法结合，以进一步提升其 OOD 检测性能。我们的结果表明 transformer 是 OOD 检测的一种有前景的方法，并为该任务在许多场景下设定了更强的基线。
引用
@article{arxiv.2309.03047,
title = {Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection},
author = {Grégor Jouet and Clément Duhart and Francis Rousseaux and Julio Laborde and Cyril de Runz},
journal= {arXiv preprint arXiv:2309.03047},
year = {2023}
}