利用远距但相关邻居的约束均值漂移进行表示学习
计算机视觉与模式识别
2022-10-18 v2
摘要
我们关注自监督、监督和半监督场景下的表示学习。近期一些自监督学习方法，如均值漂移（MSF），通过将查询图像的嵌入拉近至其最近邻（NNs）来聚类图像。由于大多数最近邻在设计上就接近查询图像，这种平均操作可能不会对查询图像的嵌入产生太大影响。另一方面，距离较远的最近邻可能在语义上与查询图像不相关。我们通过利用另一知识源约束最近邻的搜索空间来推广均值漂移思想，使得最近邻既远离查询图像又在语义上保持相关。我们证明，我们的方法（1）在自监督学习场景下，当约束利用来自前一轮训练的图像的不同增强时，性能优于MSF；（2）在半监督场景下，当约束确保最近邻与查询图像具有相同伪标签时，以更少的训练资源超越了PAWS。
引用
@article{arxiv.2112.04607,
title = {Constrained Mean Shift Using Distant Yet Related Neighbors for Representation Learning},
author = {KL Navaneet and Soroush Abbasi Koohpayegani and Ajinkya Tejankar and Kossar Pourahmadi and Akshayvarun Subramanya and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2112.04607},
year = {2022}
}
备注
Code is available at https://github.com/UCDvision/CMSF. arXiv admin note: text overlap with arXiv:2110.10309