建设性吸收：通过视图生成策略提升对比学习性能
计算机视觉与模式识别
2023-04-11 v2 机器学习
摘要
基于领域专业知识的变换（专家变换），如随机尺寸裁剪和颜色抖动，已被证明对 SimCLR 等对比学习技术的成功至关重要。最近，已有若干尝试用学习得到的生成视图来替代此类领域特定、人工设计的变换。然而对于图像数据，迄今为止这些视图生成方法无一能超越专家变换。在本工作中，我们探讨了一个不同的问题：与其用生成视图替代专家变换，我们能否将生成视图与专家变换建设性地吸收融合？我们肯定地回答了该问题，并提出了一种视图生成方法和一种简单有效的吸收方法，二者在三个不同数据集上将最先进水平提升了至多约 3.6%。重要的是，我们进行了详细的实证研究，系统性地分析了一系列视图生成与吸收方法，并提供了对比表示学习中习得视图有效性的整体图景。
引用
@article{arxiv.2304.00601,
title = {Constructive Assimilation: Boosting Contrastive Learning Performance through View Generation Strategies},
author = {Ligong Han and Seungwook Han and Shivchander Sudalairaj and Charlotte Loh and Rumen Dangovski and Fei Deng and Pulkit Agrawal and Dimitris Metaxas and Leonid Karlinsky and Tsui-Wei Weng and Akash Srivastava},
journal= {arXiv preprint arXiv:2304.00601},
year = {2023}
}
备注
Accepted at Generative Models for Computer Vision Workshop 2023