源自不同监督信号的句子嵌入之比较与组合
计算与语言
2022-06-13 v2
摘要
句子嵌入方法已有诸多成功应用。然而，依据不同的监督信号，所得句子嵌入捕获了哪些性质尚未被充分理解。本文关注两类架构与任务相似的句子嵌入方法：其一在自然语言推理任务上微调预训练语言模型，另一在其定义句上微调预训练语言模型以进行词预测，并探究它们的性质。具体而言，我们从两个角度划分 STS 数据集——1）句子来源与 2）句子对的表层相似性——比较它们在语义文本相似度（STS）任务上的表现，并比较它们在下游任务与探测任务上的表现。此外，我们尝试组合这两种方法，并证明在无监督 STS 任务与下游任务上，组合两种方法比各自方法取得明显更优的性能。
引用
@article{arxiv.2202.02990,
title = {Comparison and Combination of Sentence Embeddings Derived from Different Supervision Signals},
author = {Hayato Tsukagoshi and Ryohei Sasano and Koichi Takeda},
journal= {arXiv preprint arXiv:2202.02990},
year = {2022}
}
备注
Accepted at *SEM 2022