多语言自训练忠实度评估器
计算与语言
2025-07-29 v1 机器学习
摘要
大语言模型（LLMs）的日益普及增加了对自动评估系统的需求，特别是为了解决信息幻觉的挑战。尽管现有的忠实度评估方法已显示出潜力，但它们主要侧重于英语，并且通常需要昂贵的人工标注训练数据来微调专用模型。随着LLMs在多语言环境中的采用率增加，需要能够在无需大量标注数据的情况下跨语言运行的准确忠实度评估器。本文提出了多语言忠实度自训练评估器框架，该框架仅从合成的多语言摘要数据中学习，同时利用跨语言迁移学习。通过比较特定语言和混合语言微调方法的实验，我们证明了LLM的一般语言能力与其在特定语言评估任务中的表现之间存在一致的关系。我们的框架在现有基线方法（包括最先进的英语评估器和基于机器翻译的方法）上显示出改进。
引用
@article{arxiv.2507.20752,
title = {Multilingual Self-Taught Faithfulness Evaluators},
author = {Carlo Alfano and Aymen Al Marjani and Zeno Jonke and Amin Mantrach and Saab Mansour and Marcello Federico},
journal= {arXiv preprint arXiv:2507.20752},
year = {2025}
}