模型感知对比学习：迈向困境的摆脱
机器学习
2023-06-13 v4
摘要
对比学习（CL）在多个领域持续取得显著突破。然而，最常见的基于InfoNCE的方法遭受一些困境，例如\textit{均匀性-容忍困境}（UTD）和\textit{梯度缩减}，这两者都与一个项相关。已确认UTD会导致意外的性能退化。我们认为温度的固定性应归咎于UTD。为应对这一挑战，我们通过提出模型感知对比学习（MACL）策略来丰富CL损失族，其温度自适应于反映实例判别任务基本置信度的对齐幅度，从而使CL损失能够自适应调整对困难负样本的惩罚强度。关于另一困境即梯度缩减问题，我们推导了一个相关梯度缩放因子的极限，这使我们能从统一视角解释为何一些近期方法在较少负样本下有效，并总结性地提出一种梯度重加权以摆脱该困境。在视觉、句子和图模态上广泛的显著实证结果验证了我们的方法对表示学习和下游任务的普遍改进。
引用
@article{arxiv.2207.07874,
title = {Model-Aware Contrastive Learning: Towards Escaping the Dilemmas},
author = {Zizheng Huang and Haoxing Chen and Ziqi Wen and Chao Zhang and Huaxiong Li and Bo Wang and Chunlin Chen},
journal= {arXiv preprint arXiv:2207.07874},
year = {2023}
}