用于电影故事理解的读写记忆网络
计算机视觉与模式识别
2018-03-19 v4 计算与语言
摘要
我们提出了一种名为读写记忆网络 (Read-Write Memory Network, RWMN) 的新型记忆网络模型，以执行面向大规模、多模态电影故事理解的问答任务。我们的 RWMN 模型的关键重点在于设计由多个卷积层组成的读网络和写网络，使得记忆读写操作具备高容量和灵活性。现有的记忆增强网络模型将每个记忆槽视为独立的块，而我们使用的多层 CNN 允许模型将连续记忆单元作为块进行读写，这对于表示连续故事更为合理，因为相邻的记忆块通常具有强相关性。在评估中，我们将模型应用于 MovieQA 基准测试的全部六项任务，并在几项任务上取得了最佳准确率，尤其是在视觉问答任务上。我们的模型展现出不仅能更好地理解故事内容，还能理解更抽象信息的潜力，例如角色之间的关系及其行为的原因。
引用
@article{arxiv.1709.09345,
title = {A Read-Write Memory Network for Movie Story Understanding},
author = {Seil Na and Sangho Lee and Jisung Kim and Gunhee Kim},
journal= {arXiv preprint arXiv:1709.09345},
year = {2018}
}
备注
accepted paper at ICCV 2017