情景记忆阅读器：从流式数据中学习为问答记住什么
机器学习
2019-06-11 v3 计算与语言
机器学习
摘要
我们考虑一种新颖的问答(QA)任务，其中机器需要从大型流式数据（长文档或视频）中读取，而不知道何时会给出问题，由于现有QA方法缺乏可扩展性，这难以解决。为应对此问题，我们提出了一种用于阅读理解的新颖端到端深度网络模型，称之为情景记忆阅读器(EMR)，它顺序将输入上下文读入外部记忆，同时替换对回答未见过的问题较不重要的记忆。具体而言，我们训练一个RL智能体在记忆满时替换记忆条目，以最大化其在未来时间点的QA准确率，同时使用GRU或Transformer架构编码外部记忆以学习考虑记忆条目间相对重要性的表示。我们在合成数据集(bAbI)以及真实世界大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证我们的模型，相比基于规则的记忆调度策略或独立学习每个记忆的查询特定重要性的基于RL的基线，其取得了显著改进。
引用
@article{arxiv.1903.06164,
title = {Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data},
author = {Moonsu Han and Minki Kang and Hyunwoo Jung and Sung Ju Hwang},
journal= {arXiv preprint arXiv:1903.06164},
year = {2019}
}
备注
18 pages, 20 figures, 1 table