嵌入对比无监督特征以在受损图像数据集中聚类分布内与分布外噪声
计算机视觉与模式识别
2022-07-19 v2
摘要
在创建图像数据集时，使用搜索引擎进行网络图像检索是人工筛选的诱人替代方案，但其主要缺陷仍是检索到的不正确（噪声）样本比例。先前工作已证明这些噪声样本是分布内（ID）样本与分布外（OOD）图像的混合：ID 样本被错误归类，但呈现与数据集中其他类别相似的视觉语义；OOD 图像则与数据集中任何类别均无语义关联。后者在实践中是检索到的噪声图像的主要类型。为应对这种噪声二重性，我们提出一种两阶段算法，首先进行检测步骤，使用无监督对比特征学习将图像表示于特征空间中。我们发现对比学习的对齐与均匀性原理使得 OOD 样本可在单位超球面上与 ID 样本线性分离。随后我们使用固定邻域大小对无监督表示进行谱嵌入，并在类别级别应用离群敏感的聚类，以检测干净簇与 OOD 簇以及 ID 噪声离群点。最后我们训练一个噪声鲁棒神经网络，将 ID 噪声纠正至正确类别，并在引导式对比目标中利用 OOD 样本，将其聚类以改善低级特征。我们的算法在合成噪声图像数据集以及真实网络爬取数据上均改进了当前最优（SOTA）结果。我们的工作完全可复现 github.com/PaulAlbert31/SNCF。
引用
@article{arxiv.2207.01573,
title = {Embedding contrastive unsupervised features to cluster in- and out-of-distribution noise in corrupted image datasets},
author = {Paul Albert and Eric Arazo and Noel E. O'Connor and Kevin McGuinness},
journal= {arXiv preprint arXiv:2207.01573},
year = {2022}
}
备注
Accepted at ECCV 2022