面向多视图语义一致性的局部流形增强
计算机视觉与模式识别
2022-11-08 v1
摘要
多视图自监督表示学习根植于探索具有复杂类内变化的数据间的语义一致性。此类变化无法直接获取，因而由数据增强来模拟。然而，常用增强为手工设计且局限于简单几何与颜色变换，无法覆盖丰富的类内变化。本文提出从数据集中提取潜在数据变化并构建一种新颖增强算子，称为局部流形增强（LMA）。LMA通过训练实例条件生成器拟合数据局部流形上的分布并以其采样多视图数据来实现。LMA展现出创建无限多数据视图、保持语义以及模拟物体姿态、视角、光照条件、背景等复杂变化的能力。实验表明，集成LMA后，MoCov2与SimSiam等自监督学习方法在CIFAR10、CIFAR100、STL10、ImageNet100与ImageNet等常用基准上获得一致提升。此外，LMA带来的表示对视角、物体姿态与光照变化具有更显著的不变性，并对ImageNet-V2、ImageNet-R、ImageNet Sketch等反映的多种真实分布偏移具有更强鲁棒性。
引用
@article{arxiv.2211.02798,
title = {Local Manifold Augmentation for Multiview Semantic Consistency},
author = {Yu Yang and Wing Yin Cheung and Chang Liu and Xiangyang Ji},
journal= {arXiv preprint arXiv:2211.02798},
year = {2022}
}