GlobalBench：面向自然语言处理全球进展的基准
计算与语言
2023-05-25 v1
摘要
尽管 NLP 取得了重大进展，NLP 系统在不同语言上的性能仍存在显著差距。可以说，这是由于资源分配不均以及针对低资源语言研究的激励不足所致。为追踪并进一步激励公平语言技术的全球发展，我们引入 GlobalBench。先前的多语言基准是静态的，且聚焦于有限数量的任务和语言。相比之下，GlobalBench 是一个不断扩展的集合，旨在动态追踪所有语言中全部 NLP 数据集的进展。GlobalBench 不仅衡量准确率，还追踪所有语言中技术的估计每说话者效用与公平性，从而提供语言技术如何服务全球民众的多维视角。此外，GlobalBench 旨在识别最未被充分服务的语言，并奖励针对这些语言的研究努力。目前，最未被充分服务的语言是那些人口相对较多、却被复合多语言基准（如 Punjabi、Portuguese 和 Wu Chinese）所忽视的语言。当前，GlobalBench 覆盖 190 种语言中的 966 个数据集，并有涵盖 62 种语言的 1,128 份系统提交。
引用
@article{arxiv.2305.14716,
title = {GlobalBench: A Benchmark for Global Progress in Natural Language Processing},
author = {Yueqi Song and Catherine Cui and Simran Khanuja and Pengfei Liu and Fahim Faisal and Alissa Ostapenko and Genta Indra Winata and Alham Fikri Aji and Samuel Cahyawijaya and Yulia Tsvetkov and Antonios Anastasopoulos and Graham Neubig},
journal= {arXiv preprint arXiv:2305.14716},
year = {2023}
}
备注
Preprint, 9 pages