言符其意！大语言模型对负向常识知识表述过于积极
计算与语言
2023-05-16 v2
摘要
大语言模型（LLM）因其存储和利用正向知识的能力已被广泛研究。然而，负向知识（如“狮子不生活在海洋中”）在世界上也无处不在，却很少在文本中被明确提及。LLM对负向知识了解多少？本工作考察了LLM对负向常识知识的能力。我们设计了一个受约束的关键词到句子生成任务（CG）和一个布尔问答任务（QA）来探测LLM。我们的实验揭示，LLM经常无法生成基于负向常识知识的有效句子，但它们能正确回答极性是非问题。我们将此现象称为LLM的信念冲突。我们的进一步分析表明，语言模型预训练中的统计捷径与否定报道偏差导致了这一冲突。
引用
@article{arxiv.2305.05976,
title = {Say What You Mean! Large Language Models Speak Too Positively about Negative Commonsense Knowledge},
author = {Jiangjie Chen and Wei Shi and Ziquan Fu and Sijie Cheng and Lei Li and Yanghua Xiao},
journal= {arXiv preprint arXiv:2305.05976},
year = {2023}
}
备注
Accepted to ACL 2023