面向SAM2的基于干扰因素的记忆模型

Jovana Videnovic; Alan Lukezic; Matej Kristan

面向SAM2的基于干扰因素的记忆模型

计算机视觉与模式识别 2024-12-05 v2

作者: Jovana Videnovic , Alan Lukezic , Matej Kristan

摘要

基于记忆的跟踪器是视频目标分割方法，通过将最近跟踪的帧连接到记忆缓冲区中形成目标模型，并通过注意力机制将当前图像与缓冲的帧进行匹配来定位目标。虽然已在许多基准测试中取得优异性能，但SAM2的近期发布使其成为视觉目标跟踪领域的焦点。然而，现代跟踪器仍在干扰因素的存在下表现不佳。我们认为需要更为精细的记忆模型，提出了针对SAM2的新型干扰因素感知记忆模型及其基于内省的更新策略，联合解决分割精度和跟踪鲁棒性问题。所得跟踪器命名为SAM2.1++。我们还提出了新的干扰因素提炼DiDi数据集，以更好地研究干扰问题。SAM2.1++在七个基准测试中超越SAM2.1及相关SAM记忆扩展，在六个基准测试中树立了坚实的新型状况。

关键词

视觉目标跟踪 SAM2 干扰因素感知记忆记忆型跟踪器持久同调

引用

@article{arxiv.2411.17576,
  title  = {A Distractor-Aware Memory for Visual Object Tracking with SAM2},
  author = {Jovana Videnovic and Alan Lukezic and Matej Kristan},
  journal= {arXiv preprint arXiv:2411.17576},
  year   = {2024}
}

备注

Under review. Code available on Github: https://github.com/jovanavidenovic/DAM4SAM

面向SAM2的基于干扰因素的记忆模型

摘要

关键词

引用

备注

相关论文