TyDi QA：面向类型学多样语言的信息寻求问答基准
计算与语言
2020-03-12 v1 机器学习
摘要
自信地在多语言建模上取得进展需要具有挑战性且可信的评估。我们提出 TyDi QA——一个涵盖 11 种类型学多样语言、包含 204K 问答对的数据集。TyDi QA 的语言在其类型学（每种语言所表达的语言特征集合）方面具有多样性，因此我们期望在该集合上表现良好的模型能够泛化到世界上大量语言。我们对数据质量进行了定量分析，并对在英语单语语料中不会观察到的语言现象进行了实例级定性语言学分析。为提供真实的信息寻求任务并避免启动效应，问题由想知道答案但尚不知晓答案的人撰写，且数据直接在每种语言中收集而未使用翻译。
引用
@article{arxiv.2003.05002,
title = {TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages},
author = {Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki},
journal= {arXiv preprint arXiv:2003.05002},
year = {2020}
}
备注
To appear in Transactions of the Association for Computational Linguistics (TACL) 2020. Please use this as the citation