EXECUTE：面向LLM标记理解的多语言基准
计算与语言
2025-05-26 v1
摘要
CUTE基准显示出LLM在处理英文字符方面存在困难。我们将其扩展到更多具有不同书写系统和脚本的语言，引入EXECUTE。我们的简化框架允许轻松扩展到任何语言。跨多个LLM的测试结果表明，其他语言的挑战并不总是出现在字符级别（如英文），某些语言显示出单词级别的处理问题，某些语言则没有问题。我们还检查了中文、日文和韩文中的子字符任务，以评估LLM对字符组成部分的理解。
引用
@article{arxiv.2505.17784,
title = {EXECUTE: A Multilingual Benchmark for LLM Token Understanding},
author = {Lukas Edman and Helmut Schmid and Alexander Fraser},
journal= {arXiv preprint arXiv:2505.17784},
year = {2025}
}
备注
Accepted to Findings of ACL 2025