失真解耦对比学习
计算机视觉与模式识别
2023-12-11 v3 人工智能
摘要
自监督学习以其在表示学习和各种下游计算机视觉任务中的卓越性能而著称。近来，仅正样本对对比学习（POCL）无需构建正负训练集便取得了可靠性能，它通过减少对批大小的依赖降低了内存需求。POCL 方法通常使用单一损失函数提取失真不变表示（DIR），该表示描述受不同失真影响的正样本对表示之间的邻近性。该损失函数隐式地使模型能够滤除或忽略受不同失真影响的失真可变表示（DVR）。然而，现有 POCL 方法并未显式地强制对实际有价值的 DVR 进行解耦与利用。此外，观察到这些 POCL 方法对增强策略敏感。为应对这些局限，我们提出了一种名为失真解耦对比学习（DDCL）的新型 POCL 框架以及一种失真解耦损失（DDL）。我们的方法首次显式地在模型和特征流内部对 DVR 进行解耦与利用，以提升整体表示利用效率、鲁棒性与表示能力。实验表明，在多个基准数据集上，我们的框架在收敛性、表示质量和鲁棒性方面优于 Barlow Twins 与 Simsiam。
引用
@article{arxiv.2303.05066,
title = {Distortion-Disentangled Contrastive Learning},
author = {Jinfeng Wang and Sifan Song and Jionglong Su and S. Kevin Zhou},
journal= {arXiv preprint arXiv:2303.05066},
year = {2023}
}
备注
Oral in WACV2024