基于动态查询调制的视频目标分割
计算机视觉与模式识别
2024-03-19 v1
摘要
基于时空记忆的方法将中间帧分割结果存储为记忆以进行长程上下文建模，近期在半监督视频目标分割（SVOS）中展现出令人瞩目的成果。然而，这些方法面临两个关键局限：1）依赖非局部像素级匹配读取记忆，导致检索到的特征含噪，影响分割质量；2）各目标独立分割，缺乏交互。这些缺陷使得基于记忆的方法在相似目标和多目标分割中表现不佳。为解决这些问题，我们提出了一种查询调制方法，称为 QMVOS。该方法将目标特征概括为动态查询，并将其视为掩码预测的动态滤波器，从而为模型提供高层描述和目标级感知。通过查询间注意力实现高效且有效的多目标交互。大量实验表明，我们的方法能显著提升基于记忆的 SVOS 方法，并在标准 SVOS 基准上取得有竞争力的性能。代码见 https://github.com/zht8506/QMVOS。
引用
@article{arxiv.2403.11529,
title = {Video Object Segmentation with Dynamic Query Modulation},
author = {Hantao Zhou and Runze Hu and Xiu Li},
journal= {arXiv preprint arXiv:2403.11529},
year = {2024}
}
备注
Accepted by ICME2024