ViewMix：自监督学习中用于鲁棒表示的增强方法
计算机视觉与模式识别
2023-09-08 v1 机器学习
摘要
基于联合嵌入架构的自监督学习方法将数据的组合增强视为其强大表示学习能力的关键因素。尽管区域丢弃策略已被证明能引导模型在监督方法中关注物体中指示性较弱的部分，但其尚未被自监督方法用于生成正样本对。这是因为区域丢弃方法不适用于自监督方法的输入采样过程。从正样本对中丢弃信息性像素会导致训练低效，而将某一特定物体的块替换为另一物体则会误导模型不去最大化不同正样本对之间的一致性。此外，联合嵌入表示学习方法并未将鲁棒性作为其主要训练目标。为此，我们提出 ViewMix 增强策略，专为自监督学习设计：在生成同一图像的不同视图后，将块从一个视图剪切并粘贴到另一视图。通过利用该增强策略创建的不同视图，多种基于联合嵌入的自监督方法获得了更好的定位能力，并一致优于其对应的基线方法。研究还表明，引入 ViewMix 增强策略可提升最先进方法中表示的鲁棒性。此外，我们对计算时间的实验与分析表明，与其他同类方法相比，ViewMix 增强未引入任何额外开销。
引用
@article{arxiv.2309.03360,
title = {ViewMix: Augmentation for Robust Representation in Self-Supervised Learning},
author = {Arjon Das and Xin Zhong},
journal= {arXiv preprint arXiv:2309.03360},
year = {2023}
}