对嵌入在对比学习中的相似性

对比学习基于一个简单而有效的原则：正对的嵌入被拉近，而负对的嵌入被推远。在本文中，我们提出了通过余弦相似性视角理解对比学习的统一框架，并从该框架中派生出两个关键理论洞察。首先，在全批设置下，我们显示，当负对相似性低于阈值时，正对的完美对齐是不可实现的，而这种误差可以通过纳入目标中包含的视图内负对来缓解。其次，在小批设置下，较小的批处理大小会导致嵌入空间中负对之间的更强分离，即其相似性方差更高，这反过来会降低所学表示质量。为此，我们提出了一种辅助损失，用于在小批设置中降低负对相似性的方差。实验结果表明，纳入所提损失后，在小批设置下的性能表现得到改善。