使语言模型对否定具有鲁棒性
计算与语言
2025-02-12 v1
摘要
否定一直是语言模型面临的长期挑战。先前的研究表明，语言模型在许多自然语言理解任务中难以处理否定。在本工作中，我们提出了一种自监督方法，使语言模型对否定更具鲁棒性。我们引入了一个新任务——下一句极性预测（NSPP），作为下一句预测（NSP）任务的一种变体。我们表明，在我们的任务上进一步预训练的 BERT 和 RoBERTa 在九个与否定相关的基准测试上优于现成版本。最值得注意的是，我们的预训练任务在 CondaQA（一个需要对否定进行推理的大型问答语料库）上带来了 1.8% 到 9.1% 的性能提升。
引用
@article{arxiv.2502.07717,
title = {Making Language Models Robust Against Negation},
author = {MohammadHossein Rezaei and Eduardo Blanco},
journal= {arXiv preprint arXiv:2502.07717},
year = {2025}
}
备注
Accepted to NAACL 2025