SAM2RL：面向Segment Anything Model 2的强化学习记忆控制
计算机视觉与模式识别
2025-07-14 v1 机器学习
摘要
Segment Anything Model 2 (SAM 2) 已在对象分割任务中展现出强大的性能，并成为视觉对象跟踪的先进方法。该模型将来frame信息存储在记忆库中，实现了视频序列中时间一致性。最近的方法通过添加手工更新规则来增强SAM 2 对遮挡、干扰项和物体运动的处理能力。我们提出了一种根本不同的方法：将记忆控制框架化为序贯决策问题，使用强化学习优化记忆更新。在一种防止过拟合的设置下（每个视频单独训练一个代理），我们的方法相对于SAM 2的提升幅度超过了现有启发式方法的三倍。这些结果揭示了记忆库的潜在潜力，凸显了强化学习作为视觉对象跟踪中记忆控制替代手工更新规则的强大能力。
引用
@article{arxiv.2507.08548,
title = {SAM2RL: Towards Reinforcement Learning Memory Control in Segment Anything Model 2},
author = {Alen Adamyan and Tomáš Čížek and Matej Straka and Klara Janouskova and Martin Schmid},
journal= {arXiv preprint arXiv:2507.08548},
year = {2025}
}