用于无监督对比学习的低秩促进先验
计算机视觉与模式识别
2021-08-06 v1 人工智能
机器学习
摘要
无监督学习正处于可能真正起飞的临界点。在这些方法中，对比学习取得了巨大进展并达到了最先进性能。本文构建了一种新颖的概率图模型，将低秩促进先验有效融入对比学习框架，称为 LORAC。与现有仅考虑独立学习的常规自监督方法不同，我们的假设明确要求属于同一实例类的所有样本位于同一小维数子空间上。这一启发式设定了特定的联合学习约束，以在寻找最优网络参数化过程中降低问题的自由度。最重要的是，我们认为此处采用的低秩先验并非唯一，许多不同先验可以类似概率方式引入，对应于关于对比特征背后潜在真相的不同假设。经验证据表明，所提算法在包括图像分类、目标检测、实例分割与关键点检测的多个基准上明显超越最先进方法。
引用
@article{arxiv.2108.02696,
title = {A Low Rank Promoting Prior for Unsupervised Contrastive Learning},
author = {Yu Wang and Jingyang Lin and Qi Cai and Yingwei Pan and Ting Yao and Hongyang Chao and Tao Mei},
journal= {arXiv preprint arXiv:2108.02696},
year = {2021}
}