MDIA：一个涵盖 46 种语言的多语言对话生成基准
计算与语言
2022-08-30 v1
摘要
由于缺乏低资源语言语料库，当前对话生成的工作主要集中于英语。本文中，我们提出 mDIA，这是首个面向从低资源到高资源语言的大规模多语言对话生成基准。它涵盖 19 个语系中 46 种语言的真实对话。我们给出了通过微调多语言、非对话专注的预训练模型 mT5 以及以英语为中心、对话专注的预训练聊天机器人 DialoGPT 所获得的基线结果。结果表明，基于 mT5 的模型在 sacreBLEU 和 BertScore 上表现更好，但在多样性上更差。尽管在少样本和零样本场景中发现了有前景的结果，但英语与其他语言之间的生成质量仍存在较大差距。我们希望 mDIA 的发布能鼓励更多关于多语言对话生成的工作，以促进语言多样性。
引用
@article{arxiv.2208.13078,
title = {MDIA: A Benchmark for Multilingual Dialogue Generation in 46 Languages},
author = {Qingyu Zhang and Xiaoyu Shen and Ernie Chang and Jidong Ge and Pengke Chen},
journal= {arXiv preprint arXiv:2208.13078},
year = {2022}
}
备注
The dataset and processing scripts are available in https://github.com/DoctorDream/mDIA