带数据增强的自监督学习可证明地将内容从风格中分离
机器学习
2022-01-17 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
自监督表示学习已在多个领域展现出显著成功。一种常见做法是通过手工设计的变换进行数据增强，意图使数据的语义保持不变。我们试图从理论视角理解该方法的经验成功。我们将增强过程表述为一个潜变量模型，假设潜表示划分为内容分量（假定对增强不变）与风格分量（允许改变）。与先前关于解耦和独立分量分析的工作不同，我们允许潜空间中存在非平凡的统计依赖与因果依赖。我们基于观测的两视图对研究潜表示的可辨识性，并证明了在生成式与判别式设置下均允许我们至多经可逆映射辨识不变内容划分的充分条件。我们发现含依赖潜变量的数值模拟与我们的理论一致。最后，我们引入 Causal3DIdent，一个具有丰富因果依赖的高维视觉复杂图像数据集，用以研究实践中所施数据增强的效果。
引用
@article{arxiv.2106.04619,
title = {Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style},
author = {Julius von Kügelgen and Yash Sharma and Luigi Gresele and Wieland Brendel and Bernhard Schölkopf and Michel Besserve and Francesco Locatello},
journal= {arXiv preprint arXiv:2106.04619},
year = {2022}
}
备注
NeurIPS 2021 final camera-ready revision (with minor corrections)