迈向对比式句子表示学习的更好理解：一种统一的梯度范式
计算与语言
2024-06-06 v2
摘要
句子表示学习（SRL）是自然语言处理（NLP）中的一项关键任务，其中对比式自监督学习（SSL）目前是主流方法。然而，其显著有效性背后的原因尚不清楚。具体而言，许多研究从理论角度调查了对比式与非对比式 SSL 之间的相似性。这种相似性可以在分类任务中得到验证，两种方法在那里取得了相当的性能。但在排序任务（即 SRL 中的语义文本相似度（STS））中，对比式 SSL 显著优于非对比式 SSL。因此，出现了两个问题：第一，*什么共性使得各种对比损失在 STS 中取得卓越性能？* 第二，*我们如何使非对比式 SSL 在 STS 中也同样有效？* 为解决这些问题，我们从梯度的角度出发，发现四种有效的对比损失可以整合为一个统一范式，该范式依赖于三个组成部分：**梯度耗散**、**权重**和**比率**。随后，我们深入分析了这些组成部分在优化中的作用，并通过实验证明了它们对模型性能的重要性。最后，通过调整这些组成部分，我们使非对比式 SSL 在 STS 中取得了出色的性能。
引用
@article{arxiv.2402.18281,
title = {Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient},
author = {Mingxin Li and Richong Zhang and Zhijie Nie},
journal= {arXiv preprint arXiv:2402.18281},
year = {2024}
}
备注
Accepted at ACL 2024 Main Conference