多语言大语言模型中翻译偏差与准确性的比较研究
计算与语言
2024-10-15 v1
摘要
数字虚假信息的兴起加大了使用多语言大型语言模型(LLM)进行事实核查的兴趣。本研究系统评估了跨语言事实核查中翻译偏差和LLM的有效性, 评估范围覆盖15种语言,来自五个语言族:罗马尼亚语、斯拉夫语、土耳其语、印度-阿尔鲁亚语和卡尔特维亚语。使用XFACT数据集评估其对准确性和偏差的影响,我们研究了两种不同的翻译方法:预翻译和自翻译。我们使用mBERT在英文数据集上的性能作为基准,用于比较各语言特有的准确性。我们的发现表明,低资源语言在直接推断时因训练数据中的代表性不足而显著低于准确性。此外,更大的模型在自翻译方面表现出优越性能,通过提高翻译准确性和减少偏差来实现。这些结果突显了在低资源语言中进行平衡多语言训练的必要性,以确保可靠事实核查工具的平等访问,并最大限地减少在不同语言环境中传播虚假信息的风险。
引用
@article{arxiv.2410.10303,
title = {A Comparative Study of Translation Bias and Accuracy in Multilingual Large Language Models for Cross-Language Claim Verification},
author = {Aryan Singhal and Veronica Shao and Gary Sun and Ryan Ding and Jonathan Lu and Kevin Zhu},
journal= {arXiv preprint arXiv:2410.10303},
year = {2024}
}
备注
Accepted to ATTRIB @ NeurIPS 2024