面向视觉对象跟踪的注意力感知记忆方法

Jovana Videnovic; Matej Kristan; Alan Lukezic

面向视觉对象跟踪的注意力感知记忆方法

计算机视觉与模式识别 2025-09-18 v1

作者: Jovana Videnovic , Matej Kristan , Alan Lukezic

摘要

近期出现如SAM2等记忆基视频分割方法带来了在众多基准上取得优异性能的模型，但这些模型在视觉对象跟踪中未得到充分调整，而注意力(即与目标外观相似的物体)是面临的关键挑战。本文提出一种注意力感知的可替换记忆模块和基于内省的管理方法，用于SAM2，称为DAM4SAM。我们的设计有效减少了对注意力的跟踪漂移，提高了在目标遮挡后重新检测的能力。为便于分析注意力下的跟踪，我们构建了一个DiDi数据集，即Distractor-Distilled数据集。DAM4SAM在十三个基准上超越SAM2.1，并在十个基准上设定了新的最佳结果。此外，将所提注意力感知记忆集成到实时跟踪器EfficientTAM中可实现11%的性能提升，在多个跟踪和分割基准上与非实时SAM2.1-L的跟踪质量相匹配；集成到基于边缘的跟踪器EdgeTAM则实现4%的性能提升，显示出在不同架构上的很好泛化。

关键词

视觉对象跟踪注意力感知记忆 SAM2 重新检测跟踪漂移

引用

@article{arxiv.2509.13864,
  title  = {Distractor-Aware Memory-Based Visual Object Tracking},
  author = {Jovana Videnovic and Matej Kristan and Alan Lukezic},
  journal= {arXiv preprint arXiv:2509.13864},
  year   = {2025}
}

备注

Code available on Github: https://github.com/jovanavidenovic/DAM4SAM

面向视觉对象跟踪的注意力感知记忆方法

摘要

关键词

引用

备注

相关论文