神经对话系统中的条件生成与快照学习
计算与语言
2016-06-13 v1 神经与进化计算
机器学习
摘要
近来，多种基于LSTM的条件语言模型(LM)已应用于一系列语言生成任务。在本工作中，我们研究了端到端神经对话系统框架中各种模型架构以及表示和聚合源信息的不同方式。我们还提出一种称为快照学习(snapshot learning)的方法，通过对条件向量应用一个伴随交叉熵目标函数来促进从有监督序列信号中学习。实验与分析结果表明：首先，条件向量与LM之间发生竞争，且不同架构在两者之间提供不同的权衡。其次，条件向量的判别力与透明度是为模型提供可解释性与更优性能的关键。第三，快照学习带来一致的性能提升，与所用架构无关。
引用
@article{arxiv.1606.03352,
title = {Conditional Generation and Snapshot Learning in Neural Dialogue Systems},
author = {Tsung-Hsien Wen and Milica Gasic and Nikola Mrksic and Lina M. Rojas-Barahona and Pei-Hao Su and Stefan Ultes and David Vandyke and Steve Young},
journal= {arXiv preprint arXiv:1606.03352},
year = {2016}
}