MULTI3NLU++：面向任务型对话中自然语言理解的多语言、多意图、多领域数据集
计算与语言
2023-06-21 v2
摘要
任务型对话（TOD）系统因能提供更高效的客户支持，已在许多行业得到广泛部署。这些系统通常针对单一领域或语言构建，难以在此之外进行泛化。为了支持在多种语言和领域上同时开展 TOD 中的自然语言理解（NLU）工作，我们构建了 MULTI3NLU++，一个多语言、多意图、多领域数据集。MULTI3NLU++ 扩展了仅包含英语的 NLU++ 数据集，包含了针对多种高、中、低资源语言（西班牙语、马拉地语、土耳其语和阿姆哈拉语）的手工翻译，涵盖两个领域（BANKING 和 HOTELS）。由于其多意图特性，MULTI3NLU++ 表达了复杂且自然的用户目标，因此使我们能够衡量 TOD 系统在世界各种语言中的现实性能。我们使用 MULTI3NLU++ 在多语言环境下对用于 TOD 系统意图检测和槽位标注 NLU 任务的 SOTA 多语言模型进行了基准测试。结果证明了该数据集的挑战性，特别是在低资源语言环境下，为未来在多领域多语言 TOD 设置中的实验提供了充足的空间。
引用
@article{arxiv.2212.10455,
title = {MULTI3NLU++: A Multilingual, Multi-Intent, Multi-Domain Dataset for Natural Language Understanding in Task-Oriented Dialogue},
author = {Nikita Moghe and Evgeniia Razumovskaia and Liane Guillou and Ivan Vulić and Anna Korhonen and Alexandra Birch},
journal= {arXiv preprint arXiv:2212.10455},
year = {2023}
}
备注
ACL 2023 (Findings) Camera Ready