面向视频对象分割的学习质量感知动态记忆
计算机视觉与模式识别
2022-07-19 v1
摘要
近来，若干基于时空记忆的方法已验证将中间帧及其掩码作为记忆存储有助于在视频中分割目标对象。然而，它们主要关注当前帧与记忆帧之间更好的匹配，而未显式关注记忆的质量。因此，具有较差分割掩码的帧容易被记忆，导致分割掩码误差累积问题并进一步影响分割性能。此外，记忆帧随帧数增长的线性增加也限制了模型处理长视频的能力。为此，我们提出质量感知动态记忆网络（QDMN）以评估每帧的分割质量，使记忆库能够选择性存储准确分割的帧以防止误差累积问题。然后，我们将分割质量与时序一致性结合以动态更新记忆库，提升模型的实用性。不加任何额外技巧，我们的QDMN在DAVIS和YouTube-VOS基准上均取得新的最先进（SOTA）性能。此外，大量实验表明所提出的质量评估模块（QAM）可作为通用插件应用于基于记忆的方法并显著提升性能。我们的源代码发布于https://github.com/workforai/QDMN。
引用
@article{arxiv.2207.07922,
title = {Learning Quality-aware Dynamic Memory for Video Object Segmentation},
author = {Yong Liu and Ran Yu and Fei Yin and Xinyuan Zhao and Wei Zhao and Weihao Xia and Yujiu Yang},
journal= {arXiv preprint arXiv:2207.07922},
year = {2022}
}
备注
Accepted by ECCV2022