All4One：通过自注意力与冗余缩减的共生邻域对比学习
计算机视觉与模式识别
2024-02-06 v1
摘要
基于最近邻的方法已被证明是最成功的自监督学习（SSL）方法之一，因其具有高泛化能力。然而，当使用多于一个邻域时，其计算效率下降。在本文中，我们提出一种称为 All4One 的新型对比 SSL 方法，其利用通过自注意力机制创建的“质心”缩减邻域表示间的距离。我们使用质心对比目标连同单邻域对比与特征对比目标。质心有助于从多个邻域学习上下文信息，而邻域对比使得直接从邻域学习表示，特征对比允许学习与特征独有的表示。该组合使 All4One 在流行基准数据集的线性分类评估上以超过 1% 优于流行的实例判别方法，并取得最先进（SoTA）结果。最后，我们展示 All4One 对嵌入维度与增强具有鲁棒性，在低维与弱增强设定下超越 NNCLR 与 Barlow Twins 超过 5%。源代码将很快公开。
引用
@article{arxiv.2303.09417,
title = {All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction},
author = {Imanol G. Estepa and Ignacio Sarasúa and Bhalaji Nagarajan and Petia Radeva},
journal= {arXiv preprint arXiv:2303.09417},
year = {2024}
}
备注
14 pages, 9 figures