DeCLUTR：用于无监督文本表示的深度对比学习
计算与语言
2021-05-28 v4 机器学习
摘要
句子嵌入是许多自然语言处理（NLP）系统的重要组成部分。与词嵌入类似，句子嵌入通常在大型文本语料库上学习，然后迁移到各种下游任务，如聚类和检索。与词嵌入不同，用于学习句子嵌入的性能最优方案需要标注数据，这限制了它们在标注数据丰富的语言和领域之外的实用性。在本文中，我们提出 DeCLUTR：用于无监督文本表示的深度对比学习（Deep Contrastive Learning for Unsupervised Textual Representations）。受深度度量学习（DML）近期进展的启发，我们精心设计了用于学习通用句子嵌入的自监督目标，该目标不需要标注训练数据。当用于扩展基于 Transformer 的语言模型的预训练时，我们的方法缩小了通用句子编码器的无监督与有监督预训练之间的性能差距。重要的是，我们的实验表明，所学嵌入的质量随可训练参数数量与无标签训练数据量的增加而提升。我们的代码与预训练模型已公开可用，可轻松适配新领域或用于嵌入未见文本。
引用
@article{arxiv.2006.03659,
title = {DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations},
author = {John Giorgi and Osvald Nitski and Bo Wang and Gary Bader},
journal= {arXiv preprint arXiv:2006.03659},
year = {2021}
}
备注
ACL2021 Camera Ready V2