Memory-QA：基于多模态记忆的回忆问题解答
人工智能
2025-09-30 v2 计算与语言
数据库
摘要
我们提出Memory-QA，一个新颖的真实世界任务，涉及解答关于来自先前存储的多模态记忆中视觉内容的回忆问题。这一任务具有独特挑战，包括记忆内容的任务导向创建、有效利用记忆中的时间和位置信息，以及能够从多个记忆中检索答案。为解决这些挑战，我们提出了综合管道Pensieve，集成记忆特定的增强、时间和位置感知的多信号检索，以及多记忆QA微调。我们创建了一个多模态基准，说明该任务中的各种真实挑战，并显示Pensieve在QA准确率上优于当前最先进的解决方案（提升约14%）。
引用
@article{arxiv.2509.18436,
title = {Memory-QA: Answering Recall Questions Based on Multimodal Memories},
author = {Hongda Jiang and Xinyuan Zhang and Siddhant Garg and Rishab Arora and Shiun-Zu Kuo and Jiayang Xu and Ankur Bansal and Christopher Brossman and Yue Liu and Aaron Colak and Ahmed Aly and Anuj Kumar and Xin Luna Dong},
journal= {arXiv preprint arXiv:2509.18436},
year = {2025}
}