以L2归一化探索简洁高质量的分布外检测
机器学习
2024-02-02 v4
摘要
我们证明，对特征空间进行L2归一化，可令某些模型和数据集在分布外（OoD）检测上取得不俗性能。尽管其未展现绝对最优（state-of-the-art）性能，该方法以其极简性而值得注意：仅需增加两行代码，且不需要专门的损失函数、图像增强、离群暴露或额外参数调优。我们还观察到，对某些数据集与架构，训练可能更高效。值得注意的是，在CIFAR10上用ResNet18训练仅60轮（或用ResNet50训练100轮），即可在某些近端与远端OoD数据集上取得与多种最优方法相差不到两个百分点（AUROC）的性能。我们为该方法提供理论与实证支持，并证明其在五种架构与三个分布内（ID）数据集上的可行性。
引用
@article{arxiv.2306.04072,
title = {Exploring Simple, High Quality Out-of-Distribution Detection with L2 Normalization},
author = {Jarrod Haas and William Yolland and Bernhard Rabus},
journal= {arXiv preprint arXiv:2306.04072},
year = {2024}
}