中文

动态锚查询提升视频分割性能

计算机视觉与模式识别 2024-07-22 v5

摘要

现代视频分割方法采用对象查询进行帧间关联,在跟踪大规模运动和暂时遮挡下的连续出现对象方面表现令人满意。然而,这些方法在处理新出现的和消失的对象方面表现不佳,因为这些对象在现实世界中很常见;而它们试图通过背景查询和前景查询之间的特征转换来建模对象的出现和消失,这些查询之间存在显著的特征差异。我们引入动态锚查询 (DAQ),通过基于潜在候选者的特征动态生成锚查询,以缩短锚查询与目标查询之间的转换间隔。此外,我们引入一种查询级别的对象出现和消失模拟 (EDS) 策略,在不增加额外成本的情况下释放了 DAQ 的潜力。最后,我们将提出的 DAQ 和 EDS 与 DVIS 结合,获得 DVIS-DAQ。大量实验表明,DVIS-DAQ 在五个主流视频分割基准测试中实现了新的最先进 (SOTA) 水平。代码和模型可在 \url{https://github.com/SkyworkAI/DAQ-VS} 获取。

关键词

引用

@article{arxiv.2404.00086,
  title  = {DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries},
  author = {Yikang Zhou and Tao Zhang and Shunping Ji and Shuicheng Yan and Xiangtai Li},
  journal= {arXiv preprint arXiv:2404.00086},
  year   = {2024}
}

备注

Accepted by ECCV-2024