对比学习中的图像表示划分

在图像领域的对比学习中，锚样本与正样本被强制要求具有尽可能接近的表示。然而，由于数据增强技术使两个样本存在差异，强制二者具有相同表示可能产生误导。本文提出一种新的表示——划分表示（partitioned representation），它能在对比学习中同时学习锚样本与正样本的共有特征与独有特征。划分表示由两部分组成：内容部分与风格部分。内容部分表示类别的共有特征，风格部分表示各样本自身的特征，其可反映数据增强方法的表示。我们只需将对比学习的损失函数分别在两个独立表示上分解为两项，即可简单实现划分表示。为评估这种双部分表示，我们采用两种框架模型：变分自编码器（VAE）与 Bootstrap Your Own Latent（BYOL），分别用于展示内容与风格的可分离性，以及验证在分类中的泛化能力。实验表明，我们的方法在 VAE 框架中可分离两类信息，且作为下游任务在线性可分离性与少样本学习任务上优于常规 BYOL。