基于最优传输对比句子学习的可解释语义文本相似度研究
人工智能
2022-04-15 v2
摘要
近来，微调预训练语言模型以捕捉句子嵌入间的相似度，在语义文本相似度（STS）任务上展现出最先进的性能。然而，缺乏针对句子相似度的解释方法使得模型输出难以解释。本工作中，我们基于传输问题将句子距离显式描述为上下文化词元距离的加权和，进而提出名为RCMD的基于最优传输的距离度量；该方法识别并利用语义对齐的词元对。最后，我们提出CLRCMD，一种优化句子对RCMD的对比学习框架，提升了句子相似度及其解释的质量。大量实验表明，我们的学习框架在STS与可解释STS基准上均优于其他基线，说明其计算的句子相似度有效，且提供的解释与人类判断一致。代码与检查点已公开于 https://github.com/sh0416/clrcmd。
引用
@article{arxiv.2202.13196,
title = {Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning},
author = {Seonghyeon Lee and Dongha Lee and Seongbo Jang and Hwanjo Yu},
journal= {arXiv preprint arXiv:2202.13196},
year = {2022}
}
备注
ACL 2022 main + camera-ready version