多语言已核查声明检测中的语言与检索偏差研究
计算与语言
2025-09-30 v1
摘要
多语言大语言模型（LLM）为跨语言事实核查提供了强大的能力。然而，这些模型通常表现出语言偏差，在英语等高资源语言上的表现明显优于低资源语言。我们还提出并检验了一个新概念——检索偏差，即信息检索系统倾向于偏好某些信息而非其他信息，导致检索过程产生偏斜。在本文中，我们研究了先前已核查声明检测（PFCD）背景下的语言偏差与检索偏差。我们使用完全多语言提示策略，利用 AMC-16K 数据集在 20 种语言上评估了六个开源多语言 LLM。通过将任务提示翻译为每种语言，我们揭示了单语和跨语言性能上的差异，并基于模型系列、规模和提示策略识别了关键趋势。我们的发现突显了 LLM 行为中持续存在的偏差，并为提高多语言事实核查的公平性提供了建议。为了研究检索偏差，我们采用了多语言嵌入模型并调查了检索声明的频率。我们的分析表明，某些声明在不同帖子中被检索的比例失衡，导致热门声明的检索性能虚高，而较少见的声明则被低度代表。
引用
@article{arxiv.2509.25138,
title = {Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection},
author = {Ivan Vykopal and Antonia Karamolegkou and Jaroslav Kopčan and Qiwei Peng and Tomáš Javůrek and Michal Gregor and Marián Šimko},
journal= {arXiv preprint arXiv:2509.25138},
year = {2025}
}