语义文本相似度建模：基于翻译 ReLU 和平滑 K2 损失的回归框架
计算与语言
2024-10-08 v2
摘要
自BERT和RoBERTa的提出以来，语义文本相似度（STS）研究取得了突破性进展。特别是采用对比学习，显著提升了跨各种STS基准的状态最佳性能。然而，对比学习将文本对分类为语义相似或不相似，无法利用细粒度标注信息，还需要较大的batch size以防止模型崩溃。这些限制对从事涉及细粒度相似度水平或计算资源有限的STS任务的研究者构成了挑战，迫使他们探索替代方案如Sentence-BERT。尽管Sentence-BERT较为高效，但它从分类角度解决STS任务，忽视了语义关系的渐进性，导致性能次优。为弥合这一差距，本文提出一种创新的回归框架，并提出两种简单而有效的损失函数：翻译 ReLU 和平滑 K2 损失。实验结果表明，我们的方法在七个既定STS基准上取得令人信服的性能，并为进一步优化对比学习预训练模型提供了潜在空间。
引用
@article{arxiv.2406.05326,
title = {Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss},
author = {Bowen Zhang and Chunping Li},
journal= {arXiv preprint arXiv:2406.05326},
year = {2024}
}
备注
Accepted by EMNLP 2024 (Main)