Multi-FAct：使用FActScore评估多语言LLM的事实性
计算与语言
2024-10-04 v3
摘要
评估生成长篇大型语言模型(LLM)文本的事实性是重要挑战。最近在英语方面引起广泛关注，但关于多语言LLM事实性评估的了解仍有限，尤其是针对长篇生成文本。本文系统评估了多语言LLM在不同语言和地理区域的事实准确性。我们引入了一个简单管道，通过对多种语言应用FActScore(Min等，2023)来进行多语言事实性评估。除了评估多语言事实生成外，我们还评估了在反映地理区域多样性的主题中，长篇文本生成的事实准确性。我们还检查了使用非英语维基百科运行FActScore管道的可行性，并为地理区域多样性主题提供了全面的多语言事实评估指南。
引用
@article{arxiv.2402.18045,
title = {Multi-FAct: Assessing Factuality of Multilingual LLMs using FActScore},
author = {Sheikh Shafayat and Eunsu Kim and Juhyun Oh and Alice Oh},
journal= {arXiv preprint arXiv:2402.18045},
year = {2024}
}