基于罗马尼亚历史的大语言模型跨语言偏见分析

在本案例研究中，我们选取了一组有争议的罗马尼亚历史问题，并要求多个大语言模型在不同语言和语境下回答这些问题，以评估其偏见。除了主要出于教育目的的研究动机外，其意义还在于认识到历史往往通过被改变的视角呈现，主要受一个国家的文化和理想影响，即使通过大语言模型也是如此。由于这些模型通常在某些可能存在模糊性的数据集上训练，缺乏中立性随后会被灌输给用户。研究过程分三个阶段进行，以验证预期响应类型会在一定程度上影响响应本身这一观点；在对某个给定问题给出肯定回答后，大语言模型在被要求以刻度上的数值进行回答时，可能会改变其思维方式。结果表明，二元响应稳定性相对较高但远非完美，且因语言而异。模型经常在不同语言或不同格式之间转变立场；数值评分常常与初始二元选择不一致，而最一致的模型并不总是被认为最准确或最中立的。我们的研究揭示了模型在特定问题语境化语言中产生此类不一致性的倾向。