当 SAM2 遇见视频阴影与镜像检测
计算机视觉与模式识别
2024-12-30 v1
摘要
作为 Segment Anything Model（SAM）的后继模型，Segment Anything Model 2（SAM2）不仅提升了图像分割性能，还扩展了其视频分割能力。然而，针对视频中稀有物体（稀有物体在视频中极少出现）的分割效果仍未得到充分探索。本研究评估了 SAM2 在三个独特视频分割任务上的表现：视频阴影检测（VSD）和视频镜像检测（VMD）。具体而言，我们使用 ground truth 点或掩码提示初始化第一帧，然后预测后续帧对应的掩码。实验结果表明，SAM2 在这些任务上的表现不佳，尤其在使用点提示时，定性和定量结果均表现 suboptimal。代码已公开于 \url{https://github.com/LeipingJie/SAM2Video}。
引用
@article{arxiv.2412.19293,
title = {When SAM2 Meets Video Shadow and Mirror Detection},
author = {Leiping Jie},
journal= {arXiv preprint arXiv:2412.19293},
year = {2024}
}
备注
Technical Report