面向自然语言推理的句对级监督对比学习
计算与语言
2022-05-02 v3
摘要
自然语言推理(NLI)是日益重要的自然语言理解任务，要求推断句子对(前提与假设)之间的关系。许多近期工作通过融入NLI数据集中句子对的关系来使用对比学习以学习句子表示。然而，这些方法仅关注与句子级表示的比较。本文提出一种句对级监督对比学习方法(PairSCL)。我们采用交叉注意力模块学习句子对的联合表示。设计了一个对比学习目标，通过将同一类别的句对拉近、将其他类别的句对推远来区分不同类别的句对。我们在两个公开NLI数据集上评估PairSCL，其准确率平均优于其他方法2.1%。此外，我们的方法在七个文本分类迁移任务上优于先前最优方法。
引用
@article{arxiv.2201.10927,
title = {Pair-Level Supervised Contrastive Learning for Natural Language Inference},
author = {Shu'ang Li and Xuming Hu and Li Lin and Lijie Wen},
journal= {arXiv preprint arXiv:2201.10927},
year = {2022}
}
备注
Accepted at ICASSP 2022