如何训练你的 ViT 以进行 OOD 检测
计算机视觉与模式识别
2024-05-29 v1 机器学习
摘要
已经证明，当从公开可用的检查点进行微调时，Vision Transformer 是适用于 ImageNet 规模设置的强大 OOD 检测器，在流行的基准测试中通常优于其他类型的模型。在本工作中，我们通过分析大量模型，研究了预训练和微调方案对 ViT 在此任务上性能的影响。我们发现，预训练的确切类型对哪种方法有效以及整体的 OOD 检测性能都有强烈影响。我们进一步表明，某些训练方案可能仅对特定类型的分布外数据有效，而不具备普适性，并确定了一种最佳实践的训练方案。
引用
@article{arxiv.2405.17447,
title = {How to train your ViT for OOD Detection},
author = {Maximilian Mueller and Matthias Hein},
journal= {arXiv preprint arXiv:2405.17447},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2306.00826