用于对话连贯性的记忆增强循环网络
计算与语言
2019-10-24 v1 机器学习
机器学习
摘要
近期的对话方法通过逐词读取对话历史，并将累积的对话信息聚合为单一状态。该固定大小向量不可扩展，且必须随时间保持一致的格式。其他近期方法利用注意力机制从过往对话语句中提取有用信息，但这引入了更高的计算复杂度。在本工作中，我们探索使用神经图灵机（NTM）提供一种更持久且灵活的存储机制，以维护对话连贯性。具体而言，我们基于该NTM设计引入了两种独立的对话架构。第一种设计采用序列到序列架构，并为对话中每位参与者配备一个独立的NTM模块。第二种记忆架构采用单一NTM模块，为两位说话人存储并行上下文信息。该第二种设计还将序列到序列架构替换为神经语言模型，以允许NTM拥有更长的上下文并对对话历史有更深理解。我们报告了两种模型的困惑度性能，并与现有基线进行了比较。
引用
@article{arxiv.1910.10487,
title = {Memory-Augmented Recurrent Networks for Dialogue Coherence},
author = {David Donahue and Yuanliang Meng and Anna Rumshisky},
journal= {arXiv preprint arXiv:1910.10487},
year = {2019}
}
备注
Honors project, 12 pages