面向可控阴影移除的提示感知方法
计算机视觉与模式识别
2025-02-04 v2
摘要
阴影移除旨在恢复阴影区域的图像内容。虽然深度学习方法已显示出有前景的效果，但仍面临关键挑战：1）对所有阴影的不可控制移除，或 2）可控移除但严重依赖精确的阴影区域掩码。为此，我们引入一种新范式：提示感知的可控阴影移除。不同于现有方法，本范式允许基于用户提示（例如点、线或主题掩码）从特定主题中进行针对性阴影移除。该方法无需阴影标注，提供灵活的用户控制阴影移除。具体而言，我们提出了一种端到端可学习模型，即提示感知可控阴影移除网络 (Prompt-Aware Controllable Shadow Removal Network, PACSRNet)。PACSRNet 包含两个关键模块：一个感知提示模块，用于根据用户提示为指定主题生成阴影掩码，以及一个阴影移除模块，该模块使用来自第一个模块的阴影先验来恢复阴影区域的内容。此外，我们通过线性运算将感知提示模块的特征信息纳入阴影移除模块，从而为阴影移除提供提示导向支持。鉴于现有阴影移除数据集缺乏多样化的用户提示，我们贡献了一个专为提示驱动的可控阴影移除设计的新数据集。广泛的实验结果表明 PACSRNet 的有效性与优越性。
引用
@article{arxiv.2501.15043,
title = {Prompt-Aware Controllable Shadow Removal},
author = {Kerui Chen and Zhiliang Wu and Wenjin Hou and Kun Li and Hehe Fan and Yi Yang},
journal= {arXiv preprint arXiv:2501.15043},
year = {2025}
}