面向视频对象分割的鲁棒高效记忆网络

本文提出一种称为 REMN（鲁棒高效记忆网络，Robust and Efficient Memory Network）的方法，用于研究半监督视频对象分割（VOS）。基于记忆的方法近期通过查询与记忆之间的非局部逐像素匹配取得了优异的 VOS 性能。然而，这些方法存在两点局限。1）非局部匹配可能导致背景中的干扰对象被错误分割。2）具有高时间冗余的记忆特征消耗大量计算资源。针对局限 1，我们引入局部注意力机制，利用前一帧掩码增强前景对象特征，从而应对背景干扰。针对局限 2，我们首先根据前景对象的变化自适应决定是否更新记忆特征，以降低时间冗余；其次，我们采用动态记忆库，使用轻量且可微分的软调制门控来决定在时间维度上需移除多少记忆特征。实验表明，我们的 REMN 在 DAVIS 2017 上以 86.3% 的 $\mathcal{J\&F}$ 分数、在 YouTube-VOS 2018 上以 85.5% 的 $\mathcal{G}$ 均值取得了最先进（SOTA）结果。此外，我们的网络推理速度达 25+ FPS，且计算资源消耗相对较少。