中文

大型语言模型是怀疑论者:输入冲突幻觉的假阴性问题

计算与语言 2024-06-21 v1 人工智能 机器学习

摘要

在本文中,我们识别出一类新的偏差,它会导致输入冲突幻觉,即大型语言模型(LLM)生成的响应与输入上下文的内容不一致。我们将此问题称为假阴性问题,指的是LLM在根据上下文评估陈述正确性时,倾向于给出否定判断的现象。在涉及包含相同信息但事实方向相反的陈述对的实验中,我们观察到LLM表现出对假阴性的偏好。具体而言,模型在回答“假”时表现出更高的过度自信。此外,我们分析了假阴性问题与上下文及查询重写之间的关系,并观察到两者都能有效解决LLM中的假阴性问题。

关键词

引用

@article{arxiv.2406.13929,
  title  = {Large Language Models are Skeptics: False Negative Problem of Input-conflicting Hallucination},
  author = {Jongyoon Song and Sangwon Yu and Sungroh Yoon},
  journal= {arXiv preprint arXiv:2406.13929},
  year   = {2024}
}

备注

12 pages, 9 figures