GRUFF：德语中 LLM 的代词忠诚度、推理与偏见
计算与语言
2026-05-29 v1
摘要
第三人称单数代词长期用于研究语言模型中的刻板偏见，并测试其关于参考的推理能力。最近，针对代词忠诚度的任务被用于评估模型正确重用先前指定代词的能力，这与其他可能具有干扰性的语境实体无关。然而，这些研究聚焦于英语，这是一种在语法性别方面有限且几乎没有性别一致性的语言。本文我们贡献了一个新型的大规模数据集 GRUFF，用于衡量德语中的代词忠诚度，覆盖名词中的四种不同的性别一致性系统和四套代词。使用该数据集，我们表明 LLM 在没有明确语境的情况下，对 masculine 和 feminine 实体表现出强烈的语法一致性，但对 neopronouns xier 和 en 则不表现出这种一致性。模型通常对干扰项不够稳健，但 encoder-only 模型在德语中的鲁棒性优于英语，这反映了语法性别的重要性。最后，我们表明在此上下文中职业刻板印象在不同语法_case 之间以及大多数模型之间都较差地相关，除了架构密切相关的模型外。这也表明在德语中进行性别包容性语言和指代推理的进一步工作释放了所有代码和数据。
引用
@article{arxiv.2605.30214,
title = {GRUFF: LLM Pronoun Fidelity, Reasoning, and Biases in German},
author = {Fabian Mewes and Anne Lauscher and Vagrant Gautam},
journal= {arXiv preprint arXiv:2605.30214},
year = {2026}
}