GPT 模型的否定检测能力评估：基于 xNot360 数据集的分析
计算与语言
2023-06-30 v1
摘要
否定是自然语言的基本方面，在交流与理解中起着关键作用。我们的研究评估了生成式预训练 Transformer（GPT）模型（具体为 GPT-2、GPT-3、GPT-3.5 和 GPT-4）的否定检测性能。我们聚焦于使用零样本预测方法在自定义 xNot360 数据集上识别自然语言中的否定。我们的方法考察被标注为是否第二句否定第一句的句子对。我们的发现揭示了 GPT 模型间显著的性能差异：GPT-4 超越其同类模型，而 GPT-3.5 表现出明显的性能下降。GPT 模型在否定检测上的整体能力仍相对有限，表明该任务挑战了其自然语言理解能力的边界。我们不仅凸显了 GPT 模型在处理否定上的局限，也强调了在医疗、科学与法律等高风险领域中逻辑可靠性的重要性。
引用
@article{arxiv.2306.16638,
title = {A negation detection assessment of GPTs: analysis with the xNot360 dataset},
author = {Ha Thanh Nguyen and Randy Goebel and Francesca Toni and Kostas Stathis and Ken Satoh},
journal= {arXiv preprint arXiv:2306.16638},
year = {2023}
}