用于BERT句子表示的自引导对比学习
计算与语言
2021-06-15 v1 人工智能
摘要
尽管BERT及其变体已经重塑了NLP格局，但如何最好地从此类预训练Transformer中导出句子嵌入仍不清楚。在这项工作中，我们提出了一种利用自引导来提高BERT句子表示质量的对比学习方法。我们的方法以自监督方式微调BERT，不依赖数据增强，并使通常的[CLS] token嵌入能够作为句子向量发挥作用。此外，我们重新设计了对比学习目标（NT-Xent）并将其应用于句子表示学习。我们通过大量实验证明，我们的方法在多种句子相关任务上比有竞争力的基线更有效。我们还表明它在推理时高效且对领域偏移具有鲁棒性。
引用
@article{arxiv.2106.07345,
title = {Self-Guided Contrastive Learning for BERT Sentence Representations},
author = {Taeuk Kim and Kang Min Yoo and Sang-goo Lee},
journal= {arXiv preprint arXiv:2106.07345},
year = {2021}
}
备注
ACL 2021