语言模型并非否定论者：关于语言模型在否定基准上的分析
计算与语言
2023-06-16 v1
摘要
否定已被证明是掩码语言模型（如 BERT）的一个主要瓶颈。然而，这一发现是否仍适用于更大规模的自回归语言模型（「LLM」）尚未得到全面研究。随着 LLM 研究与应用的不断增加，我们退一步评估当代 LLM 处理否定的能力，否定是语言理解的核心基本语言现象。我们针对广泛的否定基准评估了不同的 LLM——包括开源的 GPT-neo、GPT-3 和 InstructGPT。通过对不同模型规模与提示的系统实验，我们表明 LLM 存在若干局限，包括对否定存在的不敏感性、无法捕捉否定的词汇语义，以及在否定下进行推理的失败。
引用
@article{arxiv.2306.08189,
title = {Language models are not naysayers: An analysis of language models on negation benchmarks},
author = {Thinh Hung Truong and Timothy Baldwin and Karin Verspoor and Trevor Cohn},
journal= {arXiv preprint arXiv:2306.08189},
year = {2023}
}