EquiMod：一种改进自监督学习的等变模块
机器学习
2023-06-09 v2 计算机视觉与模式识别
摘要
自监督视觉表示方法正缩小与有监督学习性能的差距。这些方法依赖于最大化由数据增强创建的关联合成输入嵌入之间的相似性。这可视为一项鼓励嵌入剔除这些增强所修改因素的任务，即对其保持不变。然而，这仅考虑了增强选择权衡的一面：它们需要强烈修改图像以避免简单解捷径学习（例如仅使用颜色直方图），但另一方面，对于某些下游任务（例如颜色和花卉分类中颜色很重要），表示中可能缺乏与增强相关的信息。少数近期工作提出通过探索对增强的某种等变性来缓解仅用不变性任务的问题。这通过学习的附加嵌入空间实现，其中某些增强导致嵌入不同，但方式不受控。本工作中，我们引入 EquiMod，一种通用的等变模块，其结构化所学潜空间，即我们的模块学习预测由增强引起的嵌入空间位移。我们表明将该模块应用于最先进不变性模型（如 SimCLR 和 BYOL）可提升在 CIFAR10 和 ImageNet 数据集上的性能。此外，尽管我们的模型可能坍缩为平凡等变（即不变性），我们观察到它反而自动学习保留某些对表示有益的增强相关信息。
引用
@article{arxiv.2211.01244,
title = {EquiMod: An Equivariance Module to Improve Self-Supervised Learning},
author = {Alexandre Devillers and Mathieu Lefort},
journal= {arXiv preprint arXiv:2211.01244},
year = {2023}
}