时间线与边界引导的扩散网络用于视频阴影检测
计算机视觉与模式识别
2024-08-22 v1 人工智能
摘要
视频阴影检测（VSD）旨在通过帧序列检测阴影掩码。现有工作受限于低效的时间学习。此外，很少有工作通过考虑阴影的特征（即边界）来解决VSD问题。受此启发，我们提出了一种用于VSD的时间线与边界引导扩散（TBGDiff）网络，其中我们同时考虑了过去-未来的时间引导和边界信息。具体地，我们设计了一个双尺度聚合（DSA）模块，通过重新思考剪辑视频中长时和短时帧的亲和性，以实现更好的时间理解。接下来，我们引入了阴影边界感知注意力（SBAA），以利用边缘上下文来捕捉阴影的特征。此外，我们是首个将扩散模型引入VSD的工作，其中我们探索了一种时空编码嵌入（STEE），以将时间引导注入扩散模型以进行阴影检测。得益于这些设计，我们的模型不仅能捕捉时间信息，还能捕捉阴影属性。大量实验表明，我们方法的性能超越了最先进的方法，验证了我们组件的有效性。我们在 \url{https://github.com/haipengzhou856/TBGDiff} 发布了代码、权重和结果。
引用
@article{arxiv.2408.11785,
title = {Timeline and Boundary Guided Diffusion Network for Video Shadow Detection},
author = {Haipeng Zhou and Honqiu Wang and Tian Ye and Zhaohu Xing and Jun Ma and Ping Li and Qiong Wang and Lei Zhu},
journal= {arXiv preprint arXiv:2408.11785},
year = {2024}
}
备注
ACM MM2024