通过不变因果机制进行表示学习
机器学习
2020-10-16 v1 计算机视觉与模式识别
机器学习
摘要
自监督学习已成为一种减少依赖昂贵监督信号、仅使用无标签数据预训练表示的策略。这些方法将启发式代理分类任务与数据增强相结合，并取得了显著成功，但我们对这种成功背后的理论理解仍然有限。本文中我们使用因果框架分析自监督表示学习。我们展示了如何通过在对预训练所用的代理分类器施加显式不变性约束，来更有效地利用数据增强。基于此，我们提出了一种新颖的自监督目标，即通过不变因果机制进行表示学习（ReLIC），它通过一个不变性正则化器强制代理目标在增强间不变预测，从而产生改进的泛化保证。此外，利用因果性我们推广了对比学习（一种特定的自监督方法），并为这些方法的成功提供了另一种理论解释。在经验上，ReLIC 在 ImageNet 上的鲁棒性和分布外泛化方面显著优于竞争方法，同时在 Atari 上也显著优于这些方法，在 个游戏中的 个上取得了超越人类水平的性能。
引用
@article{arxiv.2010.07922,
title = {Representation Learning via Invariant Causal Mechanisms},
author = {Jovana Mitrovic and Brian McWilliams and Jacob Walker and Lars Buesing and Charles Blundell},
journal= {arXiv preprint arXiv:2010.07922},
year = {2020}
}