Detect Any Shadow：面向视频阴影检测的 segment anything
计算机视觉与模式识别
2023-11-02 v2
摘要
Segment anything model（SAM）在自然图像分割领域取得了巨大成功。然而，SAM倾向于将阴影视为背景，因此不对它们进行分割。本文中，我们提出ShadowSAM，一种简单而有效的微调SAM以检测阴影的框架。此外，通过将其与长短期注意力机制结合，我们扩展了其用于高效视频阴影检测的能力。具体而言，我们首先利用从真实阴影掩码获得的边界框在ViSha训练数据集上微调SAM。然后在推理阶段，我们通过提供边界框来模拟用户交互以检测特定帧（例如第一帧）。随后，使用检测到的阴影掩码作为先验，我们采用长短期网络来学习远距离帧之间的空间相关性和相邻帧之间的时间一致性，从而实现跨视频帧的精确阴影信息传播。大量实验结果表明了我们方法的有效性，在MAE和IoU指标上以显著优势超越最先进方法。此外，与之前的视频阴影检测方法相比，我们的方法展现出加速的推理速度，验证了我们方法的有效性和高效性。源代码现已公开于 https://github.com/harrytea/Detect-AnyShadow。
引用
@article{arxiv.2305.16698,
title = {Detect Any Shadow: Segment Anything for Video Shadow Detection},
author = {Yonghui Wang and Wengang Zhou and Yunyao Mao and Houqiang Li},
journal= {arXiv preprint arXiv:2305.16698},
year = {2023}
}