XTRUST：大型语言模型多语言可信度研究
计算与语言
2025-06-04 v2
摘要
大型语言模型(LLM)在自然语言处理(NLP)任务中展现出惊人能力，吸引了从业者和更广泛公众的关注。当前AI社区的一个关键问题是这些模型的能力与局限，特别是当LLM被应用于医疗和金融等敏感领域时，错误可能带来严重后果。然而，大多数关于LLM可信度的研究仅限于单一语言，通常是数据集中占主导地位的语言，如英语。针对LLM日益增长的全球部署，本文提出XTRUST，首个综合性的多语言可信度基准。XTRUST涵盖广泛主题，包括非法活动、幻觉、跨分布(out-of-distribution, OOD)鲁棒性、身心健康、毒性、公平性、虚假信息、隐私和机器伦理，覆盖10种语言。使用XTRUST，我们对5个广泛使用的LLM的多语言可信度进行实证评估，深入分析其在语言和任务上的表现。结果表明，许多LLM在某些低资源语言(如阿拉伯语和俄语)上表现不佳，显示出当前语言模型在多语言可信度方面仍有大大提升空间。代码已公开于https://github.com/LluckyYH/XTRUST。
引用
@article{arxiv.2409.15762,
title = {XTRUST: On the Multilingual Trustworthiness of Large Language Models},
author = {Yahan Li and Yi Wang and Yi Chang and Yuan Wu},
journal= {arXiv preprint arXiv:2409.15762},
year = {2025}
}
备注
21 pages