排序增强的无监督句子表示学习
计算与语言
2023-05-19 v3
摘要
无监督句子表示学习已通过对比学习和诸如 dropout 掩码的数据增强方法取得进展。尽管有此进展，句子编码器在预测语义向量时仍局限于仅使用输入句子。本工作中，我们表明句子的语义含义也由与输入句子相似的近邻句子所决定。基于该发现，我们提出了一种新颖的无监督句子编码器 RankEncoder。RankEncoder 通过利用输入句子与外部语料库中其他句子的关系以及输入句子自身来预测其语义向量。我们在语义文本基准数据集上评估了 RankEncoder。实验结果表明：1) RankEncoder 达到了 80.07% 的 Spearman 相关系数，较先前最优性能有 1.1% 的绝对提升；2) RankEncoder 可普遍应用于现有的无监督句子嵌入方法；3) RankEncoder 对预测相似句子对的相似度分数尤为有效。
引用
@article{arxiv.2209.04333,
title = {Ranking-Enhanced Unsupervised Sentence Representation Learning},
author = {Yeon Seonwoo and Guoyin Wang and Changmin Seo and Sajal Choudhary and Jiwei Li and Xiang Li and Puyang Xu and Sunghyun Park and Alice Oh},
journal= {arXiv preprint arXiv:2209.04333},
year = {2023}
}
备注
ACL 2023