利用辅助任务学习一种简洁高效的多轮回复生成模型
计算与语言
2020-11-10 v2
摘要
我们研究开放域对话中的多轮回复生成。现有最优方法使用深度神经架构解决该问题。尽管这些模型提升了回复质量，其复杂性也阻碍了在真实系统中的应用。本工作中，我们追求一种结构简洁却能高效利用对话上下文进行回复生成的模型。为此，我们提出四项辅助任务，包括词序恢复、话语序恢复、掩码词恢复与掩码话语恢复，并将这些任务的目标与最大化生成似然联合优化。借此，与上下文理解相关的辅助任务可引导生成模型的学习达到更好的局部最优。在三个基准上的实证研究表明，我们的模型在自动评估与人工判断的回复质量上均显著优于最优生成模型，同时享有快得多的解码过程。
引用
@article{arxiv.2004.01972,
title = {Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks},
author = {Yufan Zhao and Can Xu and Wei Wu and Lei Yu},
journal= {arXiv preprint arXiv:2004.01972},
year = {2020}
}