贝叶斯自监督对比学习

近年来对比学习在多个领域取得了许多成功应用，但其自监督版本仍存在诸多令人振奋的挑战。由于负样本从无标签数据集中抽取，随机选取的样本可能实际上是锚点的假负样本，导致编码器训练错误。本文提出一种新的自监督对比损失，称为 BCL 损失，其仍使用来自无标签数据的随机样本，同时通过重要性权重修正由此产生的偏差。核心思想是在贝叶斯框架下设计用于采样困难真负样本的目标采样分布。其显著优势在于目标采样分布为参数化结构，分别具有用于去偏假负样本的位置参数和用于挖掘困难负样本的浓度参数。实验验证了 BCL 损失的有效性与优越性。