基于双模块记忆的连续指代表达式理解

指代表达式理解(Referring Expression Comprehension, REC)旨在定位由自然语言表达式所描述的给定对象所对应的图像区域。尽管已有算法展现出良好性能，现有 REC 算法强烈假设送入模型的数据是预先一次性给定的，这降低了其在真实场景中的实用性。本文提出连续指代表达式理解(Continual Referring Expression Comprehension, CREC)，一种 REC 的新设定，其中模型在连续到来的任务流上学习。为了在不遗忘先前所学知识、且无需从零反复重训的情况下持续提升模型在序列任务上的表现，我们提出一种名为双模块记忆(Dual Modular Memorization, DMM)的有效基线方法，通过两个记忆模块——隐式记忆(Implicit-Memory)与显式记忆(Explicit-Memory)——缓解灾难性遗忘问题。具体而言，前者模块旨在学习新任务时约束旧任务上学习到的重要参数发生剧烈变化；后者模块维护一个缓冲池，动态筛选并存储每个已见任务的代表性样本以供未来复练。我们通过分别将三个广泛使用的 REC 数据集 RefCOCO、RefCOCO+ 与 RefCOCOg 重新划分为序列任务，为新的 CREC 设定构建了三个基准。在构建基准上的大量实验表明，基于两种流行 REC 骨干网络，我们的 DMM 方法显著优于其他备选方法。我们公开源代码与基准以促进该领域未来进展：https://github.com/zackschen/DMM。