DimCL:用于改进自监督学习的维度对比学习
计算机视觉与模式识别
2023-09-22 v1 人工智能
机器学习
摘要
自监督学习(SSL)已取得显著成功,其中对比学习(CL)发挥了关键作用。然而,近期发展的新型非 CL 框架取得了可比或更优性能且具备较高提升潜力,促使研究者进一步改进这些框架。将 CL 融入非 CL 框架曾被认为有益,但经验证据表明并无明显改进。有鉴于此,本文提出一种沿维度方向而非如传统对比学习那样沿批次方向执行 CL 的策略,称为维度对比学习(DimCL)。DimCL 旨在增强特征多样性,并可作为已有 SSL 框架的正则化器。DimCL 被证实有效,且其难例感知特性被认定为成功的关键原因。大量实验结果表明,将 DimCL 融入 SSL 框架可在多种数据集与骨干架构上带来可观的性能提升。
引用
@article{arxiv.2309.11782,
title = {DimCL: Dimensional Contrastive Learning For Improving Self-Supervised Learning},
author = {Thanh Nguyen and Trung Pham and Chaoning Zhang and Tung Luu and Thang Vu and Chang D. Yoo},
journal= {arXiv preprint arXiv:2309.11782},
year = {2023}
}