CIPER：结合不变与等变表示的对比与预测学习

自监督表示学习（SSRL）方法在计算机视觉领域取得了巨大成功。在最近的研究中，提出了基于增强的对比学习方法，用于学习对预定义数据增强操作具有不变性或等变性的表示。然而，不变或等变特征仅偏好于取决于所选增强的特定下游任务。当学习到的表示与任务要求不匹配时，它们可能导致较差的性能。在这里，我们考虑一个主动观察者，它可以操纵对象的视图并知道生成每个视图的动作。我们引入了对比不变和预测等变表示学习（CIPER）。CIPER 在一个共享编码器和编码器顶部的两个不同输出头上同时包含不变和等变学习目标。一个输出头是带有最先进对比目标的投影头，以鼓励对增强的不变性。另一个是估计增强参数的预测头，捕获等变特征。训练后两个头都被丢弃，仅将编码器用于下游任务。我们在静态图像任务和时间增强图像数据集上评估了我们的方法。结果表明，CIPER 在各种任务上优于基线对比方法。有趣的是，CIPER 促进了层次结构化表示的形成，其中对象的不同视图在潜在表示空间中被系统地组织起来。