大语言模型中的保守偏差：衡量关系预测
计算与语言
2025-06-11 v1
摘要
大语言模型 (LLMs) 在关系抽取任务中表现出显著的保守偏差，频繁地在合适选项不可用时默认选择 No_Relation 标签。尽管这种行为有助于防止错误的关系分配，但我们的分析表明，它也会导致在推理未被明确包含在输出中时出现显著的信息损失。我们在多个提示、数据集和关系类型上系统评估了这一权衡，提出“霍森之选”（Hobson's choice）的概念，以捕捉模型倾向于选择安全但缺乏信息的标签而非幻觉标签的情形。我们的发现表明，保守偏差的发生次数是幻觉的两倍。为量化这一效应，我们使用 SBERT 和 LLM 提示来捕捉受约束提示下保守偏差行为与从半约束和开放式提示生成的标签之间的语义相似性。
引用
@article{arxiv.2506.08120,
title = {Conservative Bias in Large Language Models: Measuring Relation Predictions},
author = {Toyin Aguda and Erik Wilson and Allan Anzagira and Simerjot Kaur and Charese Smiley},
journal= {arXiv preprint arXiv:2506.08120},
year = {2025}
}
备注
10 pages