EXAMS：面向跨语言与多语言问答的多学科高中考试数据集
计算与语言
2020-11-09 v1 人工智能
信息检索
机器学习
摘要
我们提出 EXAMS——一个用于高中考试的跨语言与多语言问答的新基准数据集。我们收集了 16 种语言、超过 24,000 道高质量高中考试题目，涵盖 8 个语系以及自然科学、社会科学等在内的 24 个学科。EXAMS 提供了一个跨多种语言与学科的细粒度评估框架，支持对各种模型进行精确分析与比较。我们使用现有性能最优的多语言预训练模型进行了多项实验，并表明 EXAMS 提供了需要多语言知识及多领域推理的多种挑战。我们希望 EXAMS 能使研究者探索具有挑战性的推理与知识迁移方法，以及用于多种语言学校问答的预训练模型，这是以往无法实现的。数据、代码、预训练模型与评估可在 https://github.com/mhardalov/exams-qa 获取。
引用
@article{arxiv.2011.03080,
title = {EXAMS: A Multi-Subject High School Examinations Dataset for Cross-Lingual and Multilingual Question Answering},
author = {Momchil Hardalov and Todor Mihaylov and Dimitrina Zlatkova and Yoan Dinkov and Ivan Koychev and Preslav Nakov},
journal= {arXiv preprint arXiv:2011.03080},
year = {2020}
}
备注
EMNLP 2020, 17 pages, 6 figures, 8 tables