Batayan：面向大语言模型的菲律宾 NLP 基准测试
计算与语言
2025-06-23 v2 人工智能
摘要
近期大语言模型（LLM）的进展在高资源语言上展示了惊人的能力，但对低资源语言的语言细微差别仍未得到探索。我们引入 Batayan，一个系统性地评估大语言模型在三个关键自然语言处理（NLP） competencies 上的基准：理解、推理和生成。Batayan 整合了八个任务，其中三个此前在菲律宾语料库中不存在，涵盖 Tagalog 和代码切换的 Taglish 言语。我们的严格、由本土说话者驱动的适应和验证过程确保了流畅度和真实性，消除了现有菲律宾语料库中普遍存在的翻译ese 歧视。我们报告了各种开源和商业 LLM 的实证结果，突显了这些模型在菲律宾语在预训练语料库中的欠represent、建模菲律宾语丰富形态学和句法结构的独特挑战，以及对菲律宾语语言支持的重要性。此外，我们讨论了数据集构建中的实际挑战，并提出了在 underrepresented 语言中构建文化和语言忠实资源的原则解决方案。我们还提供了一个公开的评估套件，为菲律宾 NLP 社区驱动的迭代进步提供明确的基础。
引用
@article{arxiv.2502.14911,
title = {Batayan: A Filipino NLP benchmark for evaluating Large Language Models},
author = {Jann Railey Montalan and Jimson Paulo Layacan and David Demitri Africa and Richell Isaiah Flores and Michael T. Lopez and Theresa Denise Magsajo and Anjanette Cayabyab and William Chandra Tjhi},
journal= {arXiv preprint arXiv:2502.14911},
year = {2025}
}
备注
Accepted to ACL 2025 (Main Conference)