SoftShadow: Leveraging Soft Masks for Penumbra-Aware Shadow Removal

近期的深度学习进展为图像阴影移除任务带来了令人鼓舞的结果。然而，大多数现有方法依赖二进制预生成的阴影掩码。这种掩码的二进制特性可能导致阴影与非阴影区域边界附近出现伪影。鉴于此，我们受阴影形成物理模型的启发，提出专为阴影移除设计的新颖软阴影掩码。为实现此软掩码，我们提出 SoftShadow 框架，通过利用预训练 SAM 的先验知识并整合物理约束来实现。具体而言，我们通过半影形成约束损失、掩码重建损失和阴影移除损失共同调优 SAM 及随后的阴影移除网络。该框架实现了对半影 (部分阴影) 和全影 (完全阴影) 区域的准确预测，同时促进端到端阴影移除。通过对流行数据集进行大量实验，我们发现生成软掩码的 SoftShadow 框架能够更好地恢复边界伪影，实现最先进的性能，并显示出卓越的通用性。