SynCo：用于对比式视觉表征学习的合成硬负样本
计算机视觉与模式识别
2025-02-18 v7 人工智能
摘要
对比式学习已成为无监督视觉表征学习的主导方法，但高效利用与锚点紧密相似的硬负样本仍具有挑战性。我们引入 SynCo (Synthetic negatives in Contrastive learning)，一种新方法，通过在表征空间上生成合成硬负样本来提高模型性能。基于 MoCo 框架，SynCo 引入六种创建方法，以最小计算开销在即时生成多样化的合成硬负样本。SynCo 实现了更快的训练和强大的表征学习，在 ImageNet ILSVRC-2012 线性评估中超越 MoCo-v2 +0.4%，并在 MoCHI 上超越 +1.0%。它还能更有效地迁移到检测任务，在 PASCAL VOC 检测 (57.2% AP) 和 COCO 检测 (+1.0% AP) 以及实例分割 (+0.8% AP) 上显著优于 MoCo-v2。我们的合成硬负样本生成方法显著增强了通过无监督对比式学习获得的视觉表征。
引用
@article{arxiv.2410.02401,
title = {SynCo: Synthetic Hard Negatives for Contrastive Visual Representation Learning},
author = {Nikolaos Giakoumoglou and Tania Stathaki},
journal= {arXiv preprint arXiv:2410.02401},
year = {2025}
}
备注
Preprint. Code: https://github.com/giakoumoglou/synco, Supplementary: https://giakoumoglou.com/src/synco_suppl.pdf