Segment Anything 遇上点跟踪
计算机视觉与模式识别
2023-12-05 v2
摘要
Segment Anything Model（SAM）凭借高效的以点为中心的标注与基于提示的模型，已成为强大的零样本图像分割模型。尽管点击与笔刷交互在交互式图像分割中均已被充分探索，现有视频方法仍聚焦于掩码标注与传播。本文提出 SAM-PT，一种受 SAM 与长时点跟踪赋能的以点为中心的交互式视频分割新方法。SAM-PT 利用稳健且稀疏的点选择与传播技术生成掩码。相比传统的以物体为中心的掩码传播策略，我们独特点用点传播来利用与物体语义无关的局部结构信息。我们通过对零样本开放世界 Unidentified Video Objects（UVO）基准的直接评测凸显基于点跟踪的优势。在包括 DAVIS、YouTube-VOS 与 BDD100K 等流行视频物体分割与多物体分割跟踪基准上的实验表明，基于点的分割跟踪器取得了更好的零样本性能与高效交互。我们在 https://github.com/SysCV/sam-pt 发布了集成不同点跟踪器与视频分割基准的代码。
引用
@article{arxiv.2307.01197,
title = {Segment Anything Meets Point Tracking},
author = {Frano Rajič and Lei Ke and Yu-Wing Tai and Chi-Keung Tang and Martin Danelljan and Fisher Yu},
journal= {arXiv preprint arXiv:2307.01197},
year = {2023}
}