DAMP:面向任务型对话的双重对齐多语言解析器
计算与语言
2023-11-15 v2 机器学习
摘要
现代虚拟助手使用内部语义解析引擎将用户话语转换为可操作的命令。然而,先前工作表明,与其他任务相比,语义解析是一项迁移效率较低的多语言迁移难题。在印度和拉丁美洲等全球市场中,这对于双语用户频繁切换语言而言是一个关键问题。在这项工作中,我们使用两阶段多语言对齐显著提升了多语言和语码转换语义解析系统的零样本性能。首先,我们展示了对比对齐预训练同时改善了英文性能和迁移效率。随后我们引入了一种在微调期间进行无超参数对抗对齐的约束优化方法。我们的双重对齐多语言解析器(DAMP)在Spanglish、Hinglish和多语言任务型解析基准上分别将mBERT的迁移性能提升了3倍、6倍和81倍,并且在使用少3.2倍参数的情况下优于XLM-R和mT5-Large。
引用
@article{arxiv.2212.08054,
title = {DAMP: Doubly Aligned Multilingual Parser for Task-Oriented Dialogue},
author = {William Held and Christopher Hidey and Fei Liu and Eric Zhu and Rahul Goel and Diyi Yang and Rushin Shah},
journal= {arXiv preprint arXiv:2212.08054},
year = {2023}
}
备注
9 Pages; ACL Main Conference 2023