基于监督对比学习的句子嵌入
计算与语言
2021-06-10 v1 机器学习
摘要
句子嵌入将句子编码为固定的稠密向量，并在各种 NLP 任务与系统中发挥重要作用。构建句子嵌入的方法包括无监督学习（如 Quick-Thoughts）和监督学习（如 InferSent）。随着预训练 NLP 模型的成功，近期研究表明，在 SNLI 和 Multi-NLI 数据上微调预训练 BERT 可生成最先进的句子嵌入，在各种评测基准上超越先前的句子嵌入方法。本文提出一种通过监督对比学习构建句子嵌入的新方法。具体而言，我们的方法在 SNLI 数据上微调预训练 BERT，同时结合监督交叉熵损失与监督对比损失。与仅使用类似当前最先进方法 SBERT 的监督交叉熵损失进行微调的基线相比，我们的监督对比方法在语义文本相似度（STS）基准上平均提升 2.8%，在各种句子迁移任务上平均提升 1.05%。
引用
@article{arxiv.2106.04791,
title = {Sentence Embeddings using Supervised Contrastive Learning},
author = {Danqi Liao},
journal= {arXiv preprint arXiv:2106.04791},
year = {2021}
}