学习物理-时空特征用于视频阴影去除
计算机视觉与模式识别
2023-03-17 v1
摘要
单幅图像中的阴影去除近年来受到越来越多的关注。然而，动态场景上的阴影去除在很大程度上仍未被充分探索。本文中，我们利用视频阴影的三个本质特征（即物理属性、空间关系和时间相干性），提出了首个数据驱动的视频阴影去除模型，称为 PSTNet。具体而言，建立了一个专门的物理分支来进行局部光照估计，其更适用于具有复杂光照和纹理的场景，随后通过掩码引导的注意力策略增强物理特征。接着，我们设计了一个渐进聚合模块来增强特征图的时空特性，并有效整合三类特征。此外，为应对成对阴影视频数据集的缺乏，我们借助流行游戏 GTAV 控制阴影渲染器的开关，合成了一个数据集（SVSRD-85）。与 9 个最先进模型的对比实验（包括图像阴影去除器和图像/视频复原方法）表明，我们的方法在阴影区域的 RMSE 误差上比最佳 SOTA 提升了 14.7。另外，我们开发了一种轻量级模型适配策略，使我们的合成驱动模型在真实世界场景中有效。在公开 SBU-TimeLapse 数据集上的视觉对比验证了我们模型在真实场景中的泛化能力。
引用
@article{arxiv.2303.09370,
title = {Learning Physical-Spatio-Temporal Features for Video Shadow Removal},
author = {Zhihao Chen and Liang Wan and Yefan Xiao and Lei Zhu and Huazhu Fu},
journal= {arXiv preprint arXiv:2303.09370},
year = {2023}
}