大语言模型能否生成显著的否定陈述？
计算与语言
2023-09-22 v2 人工智能
摘要
我们考察了大型语言模型（LLMs）生成关于真实世界实体的显著（有趣）否定陈述的能力；这是过去几年兴起的研究课题。我们使用零样本和 k 样本无约束探针探查 LLMs，并与传统的否定生成方法（即基于模式的文本抽取和基于知识图谱的推断）以及众包黄金陈述进行比较。我们衡量了针对不同领域主体所生成列表的正确性与显著性。我们的评估表明，与零样本变体相比，引导式探针确实提升了所生成否定的质量。尽管如此，在使用两种提示时，LLMs 仍难以把握否定的事实性概念，频繁生成许多模糊陈述，或带有否定关键词却具正面含义的陈述。
引用
@article{arxiv.2305.16755,
title = {Can large language models generate salient negative statements?},
author = {Hiba Arnaout and Simon Razniewski},
journal= {arXiv preprint arXiv:2305.16755},
year = {2023}
}
备注
For data, see https://www.mpi-inf.mpg.de/fileadmin/inf/d5/research/negation_in_KBs/data.csv