这片土地是{你,我}的:评估语言模型中的地缘政治偏见

南沙群岛属于中国、菲律宾还是越南?一个预训练大语言模型(LLM)如果被用各声索国的语言——中文、他加禄语或越南语——提问,可能会给出不同的答案。这与多语人类形成对比,后者很可能给出一致的回答。在本文中,我们表明LLM在不同语言下被查询时会不一致地回忆某些地理知识——我们将这一现象称为地缘政治偏见。作为一个有针对性的案例研究,我们考虑领土争端,这是一项固有的争议性和多语言任务。我们引入了BorderLines,一个涵盖251个领土的领土争端数据集,每个领土都关联一组用各声索国语言(总计49种语言)编写的多项选择题。我们还提出了一套评估指标,以精确量化不同语言下回答中的偏见与一致性。随后,我们在我们的数据集和指标上评估了多种多语言LLM,以探查它们的内部知识,并利用所提出的指标发现了这些模型在不同语言中回答的众多不一致之处。最后,我们探索了几种提示修改策略,旨在放大或缓解地缘政治偏见,这凸显了LLM的脆弱性以及它们如何根据交互语境中的线索来调整回答。我们的代码和数据可在 https://github.com/manestay/borderlines 获取。