用于表示学习的约束均值漂移
计算机视觉与模式识别
2021-10-22 v1
摘要
我们关注于从有标签或无标签数据中学习表示。受自监督学习（SSL）近期成功的启发，我们提出了一种可利用额外知识的非对比表示学习方法。该额外知识可来自监督设定中的标注标签，或 SSL 设定中来自另一模态的 SSL 模型。我们的主要思想是通过约束最近邻的搜索空间来推广均值漂移算法，从而得到语义更纯粹的表示。我们的方法仅将某个实例的嵌入拉向其在使用额外知识约束的搜索空间中的最近邻。通过利用该非对比损失，我们表明，与基线相比，使用我们的方法在 ImageNet-1k 上进行监督预训练可获得更好的迁移性能。此外，我们证明了我们的方法对标签噪声相对鲁棒。最后，我们展示了可以利用跨模态的噪声约束来训练自监督视频模型。
引用
@article{arxiv.2110.10309,
title = {Constrained Mean Shift for Representation Learning},
author = {Ajinkya Tejankar and Soroush Abbasi Koohpayegani and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2110.10309},
year = {2021}
}