ConSERT：一种用于自监督句向量迁移的对比学习框架
计算与语言
2021-05-26 v1 人工智能
摘要
学习高质量的句子表示有益于广泛的下游自然语言处理任务。尽管基于 BERT 的预训练语言模型在许多下游任务上取得了高性能，但原生导出的句子表示已被证明存在坍缩问题，从而在语义文本相似度（STS）任务上表现不佳。本文提出 ConSERT（一种用于自监督句向量迁移的对比学习框架），采用对比学习以无监督且有效的方式微调 BERT。通过利用无标注文本，ConSERT 解决了 BERT 导出句子表示的坍缩问题，使其更适用于下游任务。在 STS 数据集上的实验表明，ConSERT 相较先前最优方法取得了 8% 的相对提升，甚至可与有监督的 SBERT-NLI 相媲美。当进一步引入 NLI 监督时，我们在 STS 任务上取得了新的最优性能。此外，ConSERT 在仅可用 1000 个样本的情况下仍取得可比结果，显示出其在数据稀缺场景下的鲁棒性。
引用
@article{arxiv.2105.11741,
title = {ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer},
author = {Yuanmeng Yan and Rumei Li and Sirui Wang and Fuzheng Zhang and Wei Wu and Weiran Xu},
journal= {arXiv preprint arXiv:2105.11741},
year = {2021}
}
备注
Accepted by ACL2021, 10 pages, 7 figures, 4 tables