通过等变表示进行对比学习
机器学习
2024-10-11 v2 人工智能
摘要
不变对比学习（ICL）方法已在各个领域取得了令人瞩目的性能。然而，潜在空间中缺乏与失真（增强）相关信息的表示，使得ICL在下游任务的训练效率和鲁棒性方面并非最优。最近的研究表明，将等变性引入对比学习（CL）可以提高整体性能。在本文中，我们重新审视了增强策略和等变性在提高CL有效性方面的作用。我们提出了CLeVER（通过等变表示进行对比学习），这是一种新颖的等变对比学习框架，兼容各种主流CL骨干模型的任意复杂度的增强策略。实验结果表明，CLeVER有效地从实际自然图像中提取并整合了等变信息，从而提高了基线模型在下游任务中的训练效率和鲁棒性，并实现了最先进的性能。此外，我们发现利用CLeVER提取的等变信息同时增强了实验任务中的旋转不变性和敏感性，并有助于在处理复杂增强时稳定框架，特别是对于小规模骨干模型。
引用
@article{arxiv.2406.00262,
title = {Contrastive Learning Via Equivariant Representation},
author = {Sifan Song and Jinfeng Wang and Qiaochu Zhao and Xiang Li and Dufan Wu and Angelos Stefanidis and Jionglong Su and S. Kevin Zhou and Quanzheng Li},
journal= {arXiv preprint arXiv:2406.00262},
year = {2024}
}
备注
Preprint. Under review