全都是聚类游戏吗?——基于嵌入空间聚类的分布外检测探索
计算机视觉与模式识别
2022-03-17 v1
摘要
对于深度神经网络的安全关键应用而言,判定新输入何时显著异于训练分布至关重要。本文中,我们针对图像分类的分布外(OOD)检测问题,利用训练数据语义相似嵌入的聚类,并借助分布内与分布外数据到这些聚类的距离关系差异展开探索。我们研究了嵌入空间中聚类的结构与分离性,发现监督式对比学习可得到良好分离的聚类,而其自监督对应方法则无法实现。在对不同训练方法、聚类策略、距离度量与阈值方法的广泛分析中,我们观察到并无明确的胜出者。最优方法取决于模型架构以及所选的分布内与分布外数据集。尽管我们能在以 CIFAR-10 为分布内数据时复现对比训练的优异结果,但我们发现当以 CIFAR-100 训练时,标准交叉熵配合余弦相似度优于所有对比训练方法。交叉熵相比昂贵的对比训练方法可提供具有竞争力的结果。
引用
@article{arxiv.2203.08549,
title = {Is it all a cluster game? -- Exploring Out-of-Distribution Detection based on Clustering in the Embedding Space},
author = {Poulami Sinhamahapatra and Rajat Koner and Karsten Roscher and Stephan Günnemann},
journal= {arXiv preprint arXiv:2203.08549},
year = {2022}
}