PromptRR：作为提示生成器的扩散模型用于单图像反射去除

现有的基于深度学习的单图像反射去除（SIRR）方法往往忽略图像中关键的低频（LF）和高频（HF）差异，影响了其反射去除的有效性。为了解决这个问题，本文提出了一种新颖的提示引导反射去除框架，该框架使用频率信息作为新的视觉提示以获得更好的反射去除性能。具体而言，所提出的框架将反射去除过程解耦为提示生成和随后的提示引导恢复。对于提示生成，我们首先提出一种提示预训练策略，以训练一个频率提示编码器，该编码器将真实图像编码为 LF 和 HF 提示。然后，我们采用扩散模型作为提示生成器，生成由预训练的频率提示编码器估计的 LF 和 HF 提示。对于提示引导的恢复，我们将特别生成的提示整合到 PromptFormer 网络中，采用一种新颖的基于 Transformer 的提示块，有效地引导模型实现增强的反射去除。在常用基准上的结果表明，我们的方法优于现有最先进的方法。代码和模型可在 https://github.com/TaoWangzj/PromptRR 获取。