面向跨语言 NLU 的端到端槽位对齐与识别
计算与语言
2020-10-09 v2 机器学习
摘要
在面向任务的对话系统语境中，自然语言理解（NLU）通常包括意图分类与槽位标注任务。现有将 NLU 系统扩展到新语言的方法使用机器翻译并将槽位标签从源语言投影到翻译后的话语上，因而对投影错误敏感。本工作中，我们提出一种新颖的端到端模型，联合学习对齐与预测目标槽位标签以实现跨语言迁移。我们引入 MultiATIS++，一个新的多语言 NLU 语料库，将多语言 ATIS 语料库扩展到跨越四个语系的九种语言，并使用该语料库评估我们的方法。结果表明，我们的方法在大多数语言上优于使用 fast-align 的简单标签投影方法，并以仅一半的训练时间取得了与更复杂的最先进投影方法具有竞争力的性能。我们向社区发布 MultiATIS++ 语料库以持续推进跨语言 NLU 的未来研究。
引用
@article{arxiv.2004.14353,
title = {End-to-End Slot Alignment and Recognition for Cross-Lingual NLU},
author = {Weijia Xu and Batool Haider and Saab Mansour},
journal= {arXiv preprint arXiv:2004.14353},
year = {2020}
}
备注
Accepted at EMNLP 2020