同卵与异卵双胞胎：句子表示的细粒度语义对比学习
计算与语言
2023-10-11 v2 人工智能
摘要
对比学习的应用显著提升了句子表示的无监督学习效果。该方法将增强的正样本与锚样本聚类以构建期望的嵌入空间。然而，仅依赖对比目标会因无法区分正样本对间细微语义差异而导致次优结果。具体而言，常见数据增强技术常引入语义失真，造成正样本对间的语义间隔。而 InfoNCE 损失函数在训练时忽略该语义间隔并优先最大化正样本间相似性，致使训练模型语义理解能力不敏感。本文提出一种新颖的“同卵与异卵双胞胎对比学习”（简称 IFTCL）框架，可同时适配不同增强技术生成的各类正样本对。我们提出 Twins Loss 以在训练中保留固有间隔并发挥数据增强潜力，从而克服次优问题。我们还给出结合对比目标的概念验证实验以证明所提 Twins Loss 的有效性。此外，提出海马队列机制以无额外计算地恢复与复用负样本，进一步提升 IFCL 的效率与性能。我们在九个语义文本相似度任务（含中英数据集）上验证 IFCL 框架，实验结果表明 IFCL 优于当前最优方法。
引用
@article{arxiv.2307.10932,
title = {Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations},
author = {Qingfa Xiao and Shuangyin Li and Lei Chen},
journal= {arXiv preprint arXiv:2307.10932},
year = {2023}
}
备注
This article has been accepted for publication in European Conference on Artificial Intelligence (ECAI2023). 9 pages, 4 figures