mCSQA：基于语言模型与人类统一创建策略的多语言常识推理数据集
计算与语言
2024-06-07 v1 人工智能
机器学习
摘要
为特定语言知识和常识整理数据集以评估语言模型的自然语言理解能力非常具有挑战性。由于标注人员可用性的限制，当前大多数多语言数据集是通过翻译创建的，这无法评估此类语言特定方面。因此，我们基于CSQA的构建过程提出了多语言常识问答（mCSQA），但利用语言模型进行更高效的构建，例如，通过要求LM生成问题/答案、改进答案和验证QA，随后减少人工验证工作。构建的数据集是多语言LM跨语言迁移能力的基准，实验结果表明，对于LM容易解决的问题，其跨语言迁移能力较高，但对于需要深层知识或常识的问题，迁移能力较低。这凸显了用于评估和训练的语言特定数据集的必要性。最后，我们的方法证明，多语言LM可以创建包含语言特定知识的QA，与手动创建相比显著降低了数据集创建成本。数据集可在https://huggingface.co/datasets/yusuke1997/mCSQA获取。
引用
@article{arxiv.2406.04215,
title = {mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans},
author = {Yusuke Sakai and Hidetaka Kamigaito and Taro Watanabe},
journal= {arXiv preprint arXiv:2406.04215},
year = {2024}
}
备注
Accepted at Findings of ACL 2024