KazQAD：哈萨克语开放领域问答数据集
摘要
我们引入了 KazQAD——一个哈萨克语开放领域问答（ODQA）数据集——可用于阅读理解和完整 ODQA 设置，以及信息检索实验。KazQAD 包含近 6,000 个带有抽取式简短答案的唯一问题，以及近 12,000 个段落级别的相关性判断。我们结合使用机器翻译、Wikipedia 搜索和内部人工标注，以确保标注效率和数据质量。这些问题来自两个来源：从 Natural Questions (NQ) 数据集翻译的条目（仅用于训练）和原始的哈萨克语统一国家考试（UNT）（用于开发和测试）。附带的文本语料库包含来自哈萨克语 Wikipedia 的超过 800,000 个段落。作为补充数据集，我们发布了约 61,000 个来自 NQ 数据集并已被机器翻译为哈萨克语的“问题-段落-答案”三元组。我们开发了基线检索器和阅读器，在检索（NDCG@10 = 0.389, MRR = 0.382）、阅读理解（EM = 38.5, F1 = 54.2）和完整 ODQA（EM = 17.8, F1 = 28.7）设置中取得了合理的分数。尽管如此，这些结果大大低于英语问答集合的最先进结果，我们认为仍有很大的改进空间。我们还表明，当前的 OpenAI ChatGPTv3.5 在闭卷设置下无法以可接受的质量回答 KazQAD 测试问题。该数据集在知识共享许可（CC BY-SA）下免费提供，网址为 https://github.com/IS2AI/KazQAD。
引用
@article{arxiv.2404.04487,
title = {KazQAD: Kazakh Open-Domain Question Answering Dataset},
author = {Rustem Yeshpanov and Pavel Efimov and Leonid Boytsov and Ardak Shalkarbayuli and Pavel Braslavski},
journal= {arXiv preprint arXiv:2404.04487},
year = {2024}
}
备注
To appear in Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)