理解自监督学习在分布外检测任务中的作用
计算机视觉与模式识别
2021-10-27 v1 机器学习
摘要
自监督学习（SSL）已在多种计算机视觉任务中取得巨大成功。然而，SSL在这些任务中如何发挥作用仍是一个谜。本文研究SSL如何提升分布外（OOD）检测任务的性能。我们首先指出一个好的OOD检测器应具备两个通用属性：1）整体特征空间应大；2）内点特征空间应小。随后我们证明SSL确实能够增加整体特征空间的内在维度。同时，SSL甚至有可能缩小内点特征空间。结果，将为离群点留出更多空间，使OOD检测更加容易。本文也讨论并验证了SSL能够缩小内点特征空间的条件。通过理解SSL在OOD检测任务中的作用，我们的研究可为设计更好的OOD检测算法提供指导。此外，该工作也可为其他SSL能提升性能的任务带来启发。
引用
@article{arxiv.2110.13435,
title = {Understanding the Role of Self-Supervised Learning in Out-of-Distribution Detection Task},
author = {Jiuhai Chen and Chen Zhu and Bin Dai},
journal= {arXiv preprint arXiv:2110.13435},
year = {2021}
}