用于自监督学习的虚拟嵌入与自一致性方法
计算机视觉与模式识别
2022-06-17 v2 人工智能
摘要
由于监督学习模型训练成本高且数据有限，自监督学习（SSL）近期受到广泛关注。当前 SSL 的范式是在输入空间利用数据增强来创建同一图像的不同视图，并训练模型以最大化相似图像间的表征、最小化不相似图像间的表征。尽管该方法在各种下游任务中取得了最先进（SOTA）结果，但仍缺乏探索潜在空间增强的机会。本文提出 TriMix，一种用于 SSL 的新颖概念，通过对数据进行线性插值生成虚拟嵌入，从而为模型提供新颖的表征。我们的策略侧重于训练模型从虚拟嵌入中提取原始嵌入，从而实现更好的表征学习。此外，我们提出一种自一致性项，以改善虚拟嵌入与实际嵌入之间的一致性。我们在由自然图像和医学图像组成的八个基准数据集上验证了 TriMix，对于这两类数据，其性能分别比次优模型高出 2.71% 和 0.41%。此外，我们的方法在半监督学习中优于现有方法，尤其在低数据场景下。并且，我们的预训练模型在对其他数据集的迁移上表现更好。
引用
@article{arxiv.2206.06023,
title = {Virtual embeddings and self-consistency for self-supervised learning},
author = {Tariq Bdair and Hossam Abdelhamid and Nassir Navab and Shadi Albarqouni},
journal= {arXiv preprint arXiv:2206.06023},
year = {2022}
}