ECLeKTic：用于评估跨语言知识迁移的新型挑战集
计算与语言
2025-11-11 v3 人工智能
摘要
为了在各语言间实现公平的性能，大型语言模型必须能够超越学习该知识所用的语言进行知识抽象。然而，当前文献缺乏可靠的方法来衡量 LLM 的这种跨语言知识迁移能力。为此，我们提出了 ECLeKTic，一个多语言闭卷问答数据集，它以简单、黑盒的方式评估跨语言知识迁移。具体而言，我们利用 12 种语言中维基百科条目的存在与缺失，来检测那些可能在预训练期间以某一种语言可获得、但在其他语言中不可获得的信息。我们将 ECLeKTic 策划为针对此类信息的事实探求问题集，涵盖所有相关语言。因此，为了解答 ECLeKTic，模型需要在语言之间迁移知识。我们评估了 8 个 LLM，结果表明当前的 SOTA 模型难以有效地跨语言共享知识，即使它们能够以获取该知识的语言预测问题的答案。
引用
@article{arxiv.2502.21228,
title = {ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer},
author = {Omer Goldman and Uri Shaham and Dan Malkin and Sivan Eiger and Avinatan Hassidim and Yossi Matias and Joshua Maynez and Adi Mayrav Gilady and Jason Riesa and Shruti Rijhwani and Laura Rimell and Idan Szpektor and Reut Tsarfaty and Matan Eyal},
journal= {arXiv preprint arXiv:2502.21228},
year = {2025}
}