使用神经混合专家的任务型模块化对话系统
计算与语言
2019-07-12 v1 信息检索
机器学习
摘要
端到端任务型对话系统（TDSs）因其相对于流水线模块化 TDSs 的优越性（例如全局优化方面）而备受关注。先前关于端到端 TDSs 的研究使用单模块模型为复杂对话上下文生成回复。然而，没有任何模型在所有情形下持续优于其他模型。我们提出了一个神经模块化任务型对话系统（MTDS）框架，其中组合若干专家 bot 为给定对话上下文生成回复。MTDS 由一个主席 bot 与若干专家 bot 组成。每个专家 bot 专用于特定情形，例如某一领域、系统的某类动作等。主席 bot 协调多个专家 bot 并自适应地选择某一专家 bot 生成恰当回复。我们进一步提出令牌级混合专家（TokenMoE）模型来实现 MTDS，其中专家 bot 在每个时间戳预测多个令牌，主席 bot 通过充分考虑所有专家 bot 的输出来决定最终生成的令牌。主席 bot 与专家 bot 均以端到端方式联合训练。为验证 TokenMoE 的有效性，我们在一个基准数据集上进行了广泛实验。与使用单模块模型的基线相比，我们的 TokenMoE 将 inform 率提升 8.1%、成功率提升 0.8%。
引用
@article{arxiv.1907.05346,
title = {A Modular Task-oriented Dialogue System Using a Neural Mixture-of-Experts},
author = {Jiahuan Pei and Pengjie Ren and Maarten de Rijke},
journal= {arXiv preprint arXiv:1907.05346},
year = {2019}
}
备注
Proceedings of the 2019 SIGIR Workshop WCIS: Workshop on Conversational Interaction Systems