日光与天空下的视频实例阴影检测
计算机视觉与模式识别
2024-09-25 v3
摘要
实例阴影检测对于照片编辑与光照方向估计等应用至关重要，其在预测阴影实例、物体实例及其关联方面已取得显著进展。将该任务扩展至视频面临着标注多样化视频数据以及处理由遮挡与关联中暂时消失所引起的复杂性的挑战。为应对这些挑战，我们提出ViShadow，一种半监督视频实例阴影检测框架，其利用带标注的图像数据与未标注的视频数据进行训练。ViShadow具有两阶段训练流程：第一阶段利用带标注图像数据，通过对比学习进行跨帧配对以识别阴影与物体实例；第二阶段采用未标注视频，引入关联循环一致性损失以增强跟踪能力。我们引入一种检索机制以处理暂时消失，确保跟踪连续性。我们提出了SOBA-VID数据集（包含未标注训练视频与带标注测试视频）以及SOAP-VID度量，用于视频实例阴影检测（VISD）方案的定量评估。ViShadow的有效性通过多种视频级应用得到进一步证明，如视频修复、实例克隆、阴影编辑以及文本指令的阴影-物体操控。
引用
@article{arxiv.2211.12827,
title = {Video Instance Shadow Detection Under the Sun and Sky},
author = {Zhenghao Xing and Tianyu Wang and Xiaowei Hu and Haoran Wu and Chi-Wing Fu and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2211.12827},
year = {2024}
}
备注
Accepted by IEEE Transactions on Image Processing (IEEE TIP)