通过在线对比学习解耦感知学习

在图像变换任务中，依据人类视觉感知追求逼真结果是核心关切。感知学习方法（如感知损失）在此类任务中经验上十分有效，但它们通常依赖预训练分类网络提供特征，而这些特征就图像变换的视觉感知而言未必最优。在本文中，我们认为，在预训练分类网络的特征表示中，仅有有限维度与人类视觉感知相关，而其他维度虽也会影响最终图像变换结果却并不相关。在此假设下，我们尝试通过提出的在线对比学习从表示中解耦出感知相关维度。所得网络包括预训练部分和一个特征选择层，其后接对比学习模块，该模块分别使用变换结果、目标图像和任务导向的失真图像作为正、负和锚样本。对比学习旨在利用三元组损失激活感知相关维度并抑制不相关维度，从而解耦原始表示以获得更好的感知质量。在多种图像变换任务上的实验证明了我们的框架在人类视觉感知方面优于使用预训练网络和经验设计损失的现有方法。