改进对比表示学习中的变换不变性
机器学习
2021-03-23 v2 人工智能
机器学习
摘要
我们提出方法来增强通过对比学习获得的表示的不变性性质。虽然现有方法在表示学习过程中隐式地诱导了一定程度的不变性，但我们寻求在编码过程中更直接地强制不变性。为此，我们首先引入一个用于对比学习的训练目标，该目标使用一种新颖的正则化器来控制表示在变换下如何变化。我们表明，用该目标训练的表示在下游任务上表现更好，并且对测试时引入的干扰变换更具鲁棒性。其次，我们提出通过改变测试时表示的生成方式，引入一种特征平均方法，该方法结合来自原始输入多个变换的编码，发现这带来了全面的性能提升。最后，我们引入新颖的 Spirograph 数据集，以在具有多个下游任务的可微生成过程背景下探索我们的想法，表明我们学习不变性的技术非常有益。
引用
@article{arxiv.2010.09515,
title = {Improving Transformation Invariance in Contrastive Representation Learning},
author = {Adam Foster and Rattana Pukdee and Tom Rainforth},
journal= {arXiv preprint arXiv:2010.09515},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021