一种由共指信息复述与预期支持的流式数据问答记忆模型
计算与语言
2023-05-15 v1 人工智能
机器学习
摘要
现有问答方法常假设输入内容（如文档或视频）始终可访问以完成任务。与之相对，记忆网络被引入以模拟人类在固定容量记忆中对信息的增量理解与压缩过程。然而，这些模型仅通过误差在整网络中反向传播来学习如何维持记忆。另有研究指出，人类具备提升记忆能力的有效机制，如复述与预期。受此启发，我们提出一种记忆模型，在处理输入时执行复述与预期，以记忆解决流式数据问答任务的重要信息。所提机制在训练期间通过聚焦于共指信息的掩码建模任务以自监督方式应用。我们在短序列（bAbI）数据集以及大序列文本（NarrativeQA）与视频（ActivityNet-QA）问答数据集上验证模型，相较先前记忆网络方法取得显著改进。此外，我们的消融研究证实了所提机制对记忆模型的重要性。
引用
@article{arxiv.2305.07565,
title = {A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information},
author = {Vladimir Araujo and Alvaro Soto and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2305.07565},
year = {2023}
}
备注
Accepted paper at ACL2023 Findings