元学习设定下用于对话领域自适应的师生架构
计算与语言
2021-04-07 v1 机器学习
摘要
每日都有大量新对话领域被创建，而由于涉及人类交互，为这些领域收集数据极其昂贵。因此，在构建数据驱动的对话模型时，开发能高效适配不同领域的算法至关重要。最近的领域自适应研究聚焦于为模型提供更好的初始化，而非优化适配过程。我们提出一种高效的领域自适应任务型对话系统模型，其融入元教师模型以强调生成词元相对于上下文的不同影响。我们首先在富资源领域的元学习设定下对抗式训练基础对话模型与元教师模型。元教师学习量化跨不同领域下不同上下文中的词元重要性。在适配期间，元教师引导对话模型关注重要词元，以实现更好的适配效率。我们在两个多领域数据集MultiWOZ与Google Schema-Guided Dialogue上评估我们的模型，取得了最先进的性能。
引用
@article{arxiv.2104.02689,
title = {A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting},
author = {Kun Qian and Wei Wei and Zhou Yu},
journal= {arXiv preprint arXiv:2104.02689},
year = {2021}
}
备注
Accepted by AAAI 2021