Seg2Track-SAM2：基于 SAM2 的多目标跟踪与分割
计算机视觉与模式识别
2026-03-03 v2
摘要
自动驾驶感知系统需要鲁棒的多目标跟踪（MOT）才能在动态环境中可靠运行。MOT 在保持帧间一致对象标识的同时 preserving 空间精度。近期基础模型，如 SAM2，提供了无需任务特定微调的可提示视频分割。然而，其在多目标跟踪与分割（MOTS）中的直接应用受限于缺乏显式标识管理机制以及跟踪过程中不断增长的内存需求。本工作提出了 Seg2Track-SAM2，一个将预训练目标检测器与 SAM2 以及专用 Seg2Track 模块集成的框架，支持轨迹初始化、数据关联和轨迹精修。该方法无需数据集特定微调，且对检测器具有不可知性。在 KITTI MOTS 和 MOTS Challenge 基准上的实验评估表明，Seg2Track-SAM2 在两个数据集上总体排名第四，同时实现了 compared 方法中最高的关联精度（AssA）。此外，滑动窗口记忆策略将内存使用量降低了高达 75%，对跟踪性能影响极小，从而可在资源受限条件下部署。综合来看，这些结果表明 Seg2Track-SAM2 在无需数据集特定训练的情况下提升了 MOTS 中的标识一致性和内存效率。代码可在 https://github.com/hcmr-lab/Seg2Track-SAM2 获取。
引用
@article{arxiv.2509.11772,
title = {Seg2Track-SAM2: SAM2-based Multi-object Tracking and Segmentation},
author = {Diogo Mendonça and Tiago Barros and Cristiano Premebida and Urbano J. Nunes},
journal= {arXiv preprint arXiv:2509.11772},
year = {2026}
}