提问与记忆：面向持续视觉问答的纯问题回放策略
计算机视觉与模式识别
2025-07-29 v2 人工智能
摘要
视觉问答中的持续学习 (VQACL) 要求模型在获取新视觉-语言技能（可塑性）的同时保留先前学到的知识（稳定性）。VQACL 固有的多模态特性加剧了这一挑战，因为模型必须在适应新物体和推理任务的同时，平衡视觉和文本领域的稳定性。现有方法主要为单模态场景设计，往往难以满足这一双重需求。在本工作中，我们提出了仅问题回放与注意力蒸馏 (QUAD)，这是一种用于 VQACL 的新方法，仅利用过去任务的问题进行正则化。通过消除存储视觉数据的需求，QUAD 不仅减少了内存开销，还缓解了隐私问题。我们的方法引入了纯问题回放机制，选择性地重用先前任务的问题，以对抗对当前任务答案空间的过拟合，解决答案集外问题。作为补充，我们提出了注意力一致性蒸馏，以跨任务强制执行模态内与模态间的注意力一致性，保留关键的视觉-语言关联。在 VQAv2 和 NExT-QA 上的大量实验表明，QUAD 显著优于 SOTA 方法，在持续 VQA 中取得了稳健的性能。代码可在 https://github.com/IemProg/QUAD 获取。
引用
@article{arxiv.2502.04469,
title = {Ask and Remember: A Questions-Only Replay Strategy for Continual Visual Question Answering},
author = {Imad Eddine Marouf and Enzo Tartaglione and Stephane Lathuiliere and Joost van de Weijer},
journal= {arXiv preprint arXiv:2502.04469},
year = {2025}
}
备注
ICCV 2025, 8 pages. Code: https://github.com/IemProg/QUAD