基于对比学习的句子表示学习中的各向同性、语境化与学习动力学研究
计算与语言
2023-05-30 v2 人工智能
摘要
在句子表示学习（SRL）中引入对比学习目标，已在许多句子级 NLP 任务上取得了显著改进。然而，对比学习为何能有效学习句子级语义，目前尚不十分清楚。本文旨在通过各向同性、语境化和学习动力学的视角，深入审视基于对比学习的 SRL，以帮助指导未来句子表示学习方法的设计。我们通过表示偏移的几何特性来解释其成功，并表明对比学习带来了各向同性，并驱动了高句内相似度：当处于同一句子中时，词元在语义空间中会收敛到相似的位置。我们还发现，我们形式化为“伪语境化”的现象在语义上有意义的词元上得到缓解，而在功能词元上则被增强。我们发现，在训练过程中，嵌入空间被导向原点，使得更多区域得到更好的界定。我们通过观察不同训练温度、批次大小和池化方法下的学习动力学，对这些发现进行了消融分析。
引用
@article{arxiv.2212.09170,
title = {On Isotropy, Contextualization and Learning Dynamics of Contrastive-based Sentence Representation Learning},
author = {Chenghao Xiao and Yang Long and Noura Al Moubayed},
journal= {arXiv preprint arXiv:2212.09170},
year = {2023}
}
备注
Accepted by ACL 2023 (Findings, long paper)