BLUEX：基于巴西顶尖大学入学考试的评测基准
计算与语言
2023-07-12 v1
摘要
近期语言模型（LM）研究中一个常见趋势是使用标准化测试进行评估。然而，尽管葡萄牙语是全球第五大通用语言，鲜有此类评估以葡萄牙语进行。这主要归因于社区缺乏可用于葡萄牙语评估的高质量数据集。为弥补这一缺口，我们引入了巴西顶尖大学入学考试（Brazilian Leading Universities Entrance eXams，BLUEX），一个来自巴西两所顶尖大学 UNICAMP 与 USP 的入学考试数据集。该数据集包含带标注的元数据，用于评估 NLP 模型在多种学科上的表现。此外，BLUEX 收录了近期施行的考试，其不大可能包含于截至 2023 年许多流行 LM 的训练数据中。该数据集还标注了每题中图像的位置，为推进多模态语言理解与推理的前沿提供了宝贵资源。我们描述了 BLUEX 的创建与特性，并通过最先进 LM 的实验建立基准，展示了其在推进葡萄牙语自然语言理解与推理前沿方面的潜力。数据与相关代码见 https://github.com/Portuguese-Benchmark-Datasets/BLUEX
引用
@article{arxiv.2307.05410,
title = {BLUEX: A benchmark based on Brazilian Leading Universities Entrance eXams},
author = {Thales Sales Almeida and Thiago Laitz and Giovana K. Bonás and Rodrigo Nogueira},
journal= {arXiv preprint arXiv:2307.05410},
year = {2023}
}