用于去偏场景表示的对象感知对比学习

对比自监督学习通过强化对不同数据增强的不变性，在从无标签图像学习视觉表示方面展现出令人印象深刻的成果。然而，学到的表示常对不同对象之间或对象与背景之间的虚假场景关联存在上下文偏置，这可能损害其在下游任务上的泛化。为解决该问题，我们提出了一种新颖的对象感知对比学习框架，其首先(a)以自监督方式定位对象，然后(b)考虑推断出的对象位置通过适当的数据增强去偏场景关联。对于(a)，我们提出对比类激活图(ContraCAM)，其利用对比训练的模型找出图像中相对于其他图像最具判别性的区域（如对象）。我们进一步改进ContraCAM，通过迭代精炼过程检测多个对象和完整形状。对于(b)，我们基于ContraCAM引入两种数据增强，对象感知随机裁剪和背景混合，分别减少对比自监督学习中的上下文偏置和背景偏置。我们的实验证明了表示学习框架的有效性，尤其在多对象图像下训练或背景（及分布）偏移图像下评估时。