从肯定句生成多样化否定句
计算与语言
2024-11-04 v1 人工智能
摘要
尽管大型语言模型在各种任务中表现出色,但它们常常难以在否定陈述下进行推理。否定在现实世界应用中很重要,因为它们编码了动词短语、从句或其他表达中的否定极性。然而,它们在当前的基准测试中代表性不足,这些基准测试主要包含基本的否定形式,而忽略了更复杂的形式,导致训练语言模型的数据不足。在这项工作中,我们提出了NegVerse,一种通过从肯定句生成多种否定类型(包括英语文本中常见的动词性、非动词性和词缀形式)来解决否定数据集缺乏问题的方法。我们基于句法结构,为句子中最可能出现否定的部分提供了新的掩码规则,并使用冻结的基线LLM和提示微调来生成否定句。我们还提出了一种过滤机制来识别否定线索并移除退化的例子,从而产生多样化的有意义的扰动。我们的结果表明,NegVerse优于现有方法,生成的否定句与原始句子具有更高的词汇相似性、更好的句法保留和否定多样性。代码可在https://github.com/DarianRodriguez/NegVerse获取。
引用
@article{arxiv.2411.00056,
title = {Generating Diverse Negations from Affirmative Sentences},
author = {Darian Rodriguez Vasquez and Afroditi Papadaki},
journal= {arXiv preprint arXiv:2411.00056},
year = {2024}
}
备注
Accepted at "Adaptive Foundation Models: Evolving AI for Personalized and Efficient Learning" workshop at NeurIPS 2024