DeS3:基于ViT相似度与自适应注意力的自阴影与软阴影去除
计算机视觉与模式识别
2024-04-16 v4
摘要
从单幅图像中去除缺乏清晰边界的软阴影与自阴影仍然具有挑战性。自阴影是投射在物体自身的阴影。大多数现有方法依赖二值阴影掩码,未考虑软阴影与自阴影的模糊边界。本文中,我们提出DeS3,一种基于自适应注意力与ViT相似度去除硬阴影、软阴影与自阴影的方法。我们新颖的ViT相似度损失利用从预训练Vision Transformer提取的特征。该损失有助于引导反向采样以恢复场景结构。我们的自适应注意力能够区分阴影区域与底层物体,以及阴影区域与投射阴影的物体。这一能力使DeS3即使在物体部分被阴影遮挡时也能更好地恢复其结构。不同于现有方法在训练阶段依赖约束,我们将ViT相似度纳入采样阶段。我们的方法在SRD、AISTD、LRSS、USR与UIUC数据集上优于SOTA方法,鲁棒地去除硬、软及自阴影。具体而言,在LRSS数据集上,我们的方法相较SOTA方法的整图RMSE低16%。我们的数据与代码见:\url{https://github.com/jinyeying/DeS3_Deshadow}
引用
@article{arxiv.2211.08089,
title = {DeS3: Adaptive Attention-driven Self and Soft Shadow Removal using ViT Similarity},
author = {Yeying Jin and Wei Ye and Wenhan Yang and Yuan Yuan and Robby T. Tan},
journal= {arXiv preprint arXiv:2211.08089},
year = {2024}
}
备注
Accepted to AAAI2024, diffusion shadow removal, \url{https://github.com/jinyeying/DeS3_Deshadow}