LoraxBench：面向20种印尼语的多任务、多语言基准套件
计算与语言
2025-08-19 v1
摘要
作为全球人口最多的国家之一，印尼有700种语言使用，然而在NLP领域进展却滞后。我们介绍LoraxBench——一个聚焦印尼低资源语言的数据集，涵盖6种多样化任务：阅读理解、开放域问答、语言推理、因果推理、翻译和文化问答。该数据集覆盖20种语言，并为三种语言新增两种形式 registers。我们评估了多样化的多语言和区域聚焦型大语言模型，发现该基准具有较高挑战性。我们注意到在印尼语及其他语言（尤其是低资源语言）之间存在显著的性能差异。使用区域特定模型相对于通用多语言模型并无明确优势。最后，我们展示了形式 register 的变化会影响模型性能，特别是对于不常见于社交媒体的形式 register，例如高等礼貌的 Javanese 语`Krama`。
关键词
引用
@article{arxiv.2508.12459,
title = {LoraxBench: A Multitask, Multilingual Benchmark Suite for 20 Indonesian Languages},
author = {Alham Fikri Aji and Trevor Cohn},
journal= {arXiv preprint arXiv:2508.12459},
year = {2025}
}