pNNCLR：基于对比学习的无监督表示学习问题的随机伪邻域方法
计算机视觉与模式识别
2023-08-15 v1 人工智能
机器学习
摘要
在基于自监督学习（SSL）的图像识别问题中，最近邻（NN）采样比预定义变换提供更丰富的语义变化。然而，其性能受支持集质量的限制，该支持集持有用于对比损失的正样本。在本工作中，我们表明支持集的质量在任何基于最近邻的SSL方法中都起着关键作用。随后，我们为基于最近邻的SSL方法（NNCLR）提供了一个精炼的基线（pNNCLR）。为此，我们引入伪最近邻（pNN）来控制支持集的质量，其中，我们不是采样最近邻，而是在困难最近邻的附近通过改变结果向量的幅值并采用随机采样策略来采样，以提升性能。此外，为稳定基于NN学习中的不确定性影响，我们采用平滑权重更新方法来训练所提出的网络。在多个公开图像识别和医学图像识别数据集上对提出方法的评估表明，其性能比基线最近邻方法高出至多8%，并且与以往提出的其他SSL方法相当。
引用
@article{arxiv.2308.06983,
title = {pNNCLR: Stochastic Pseudo Neighborhoods for Contrastive Learning based Unsupervised Representation Learning Problems},
author = {Momojit Biswas and Himanshu Buckchash and Dilip K. Prasad},
journal= {arXiv preprint arXiv:2308.06983},
year = {2023}
}
备注
15 pages, 5 figures