面向长期跟踪的基于层次运动估计和记忆优化的 SAM2 增强
计算机视觉与模式识别
2025-09-03 v3
摘要
本文提出了对 SAM2 框架进行的增强，专注于视频对象跟踪任务，旨在解决遮挡、背景杂乱和目标重新出现的等挑战。我们引入了层次运动估计策略，结合轻量级线性预测与选择性非线性细化，以提升跟踪精度，无需额外训练。在此基础上，我们通过区分长期记忆帧和短期记忆帧来优化记忆库，使模型在长期遮挡和外观变化情况下仍能实现可靠跟踪。实验结果表明，在不同模型规模下均取得一致的提升。我们的方法在大型模型上实现了在 LaSOT 和 LaSOText 上的最先进性能，相较于原始 SAM2 分别提升了 9.6% 和 7.2% 的相对 AUC 提升，在较小模型上效果更为显著，凸显了无训练、低开销改进在提升长期跟踪性能方面的有效性。代码已公开于 https://github.com/LouisFinner/HiM2SAM。
引用
@article{arxiv.2507.07603,
title = {HiM2SAM: Enhancing SAM2 with Hierarchical Motion Estimation and Memory Optimization towards Long-term Tracking},
author = {Ruixiang Chen and Guolei Sun and Yawei Li and Jie Qin and Luca Benini},
journal= {arXiv preprint arXiv:2507.07603},
year = {2025}
}