利用数据增强结构实现自监督解耦
机器学习
2024-08-21 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
自监督表示学习常使用数据增强来诱导对数据“风格”属性的某种不变性。然而，由于下游任务在训练时通常未知，难以先验推断数据的哪些属性确为“风格”并可被安全丢弃。为此，当前方法试图通过调节对某些特定任务（如ImageNet对象分类）的不变性程度来保留部分风格信息。但已有工作表明，此类任务特定调优会导致在依赖被丢弃风格的其他任务上出现显著性能退化。为此，我们提出一种更具原则性的方法，旨在解耦风格特征而非丢弃它们。其核心思想是添加多个风格嵌入空间，其中：(i) 每个空间对除一种增强外的所有增强不变；(ii) 联合熵最大化。我们从因果潜变量模型视角形式化了结构化数据增强过程，并证明了内容变量与各个风格变量的可辨识性。我们在合成与真实世界数据上实证展示了本方法的优势。
引用
@article{arxiv.2311.08815,
title = {Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations},
author = {Cian Eastwood and Julius von Kügelgen and Linus Ericsson and Diane Bouchacourt and Pascal Vincent and Bernhard Schölkopf and Mark Ibrahim},
journal= {arXiv preprint arXiv:2311.08815},
year = {2024}
}