解决无监督视觉表征中的特征抑制问题

对比学习是机器学习中增长最快的研究领域之一，因其能在无标注数据下学习有用表征。然而，对比学习易受特征抑制影响，即其可能丢弃与感兴趣任务相关的重要信息，而学到无关特征。已有工作通过手工设计的数据增强来消除无关信息以缓解该局限，但此方法并非对所有数据集与任务均有效。此外，当某一属性抑制其他属性相关特征时，数据增强在多属性分类中无法解决特征抑制。本文分析对比学习的损失函数，并形式化证明其易受特征抑制。我们进而提出预测式对比学习（PCL），一种对特征抑制鲁棒的无监督表征学习框架。其核心思想是迫使所学表征预测输入，从而防止其丢弃重要信息。大量实验验证 PCL 对特征抑制具有鲁棒性，并在多种数据集与任务上优于最先进的对比学习方法。