人类与 LLM 中的内隐因果偏差作为评估 LLM 话语能力的基准工具
计算与语言
2025-01-23 v1
摘要
在本文中，我们将单语和多语 LLM 生成的数据（涵盖一系列模型规模）与人类参与者在探究公认话语偏差的实验环境中提供的数据进行了比较。除了比较本身，我们还旨在开发一个基准，以评估 LLM 对话语偏差的掌握能力，将其作为更一般话语理解能力的稳健代理。更具体地说，我们研究了内隐因果动词，心理语言学研究发现，参与者对三种现象表现出偏差：(i) 共指关系的建立（实验 1），(ii) 连贯关系的建立（实验 2），以及 (iii) 特定指称表达的使用（实验 3 和 4）。在共指偏差方面，我们发现只有最大的单语 LLM（德语 Bloom 6.4B）表现出更像人类的偏差。在连贯关系方面，没有 LLM 表现出人类中通常出现的解释偏差。在指称表达方面，所有 LLM 都倾向于使用比宾语更简单的形式来指称主语论元。然而，与最近研究人类偏差的研究相反，我们没有发现偏差对指称表达的影响。
引用
@article{arxiv.2501.12980,
title = {Implicit Causality-biases in humans and LLMs as a tool for benchmarking LLM discourse capabilities},
author = {Florian Kankowski and Torgrim Solstad and Sina Zarriess and Oliver Bott},
journal= {arXiv preprint arXiv:2501.12980},
year = {2025}
}
备注
38 pages, 8 figures