FIRM：灵活交互式反射去除

从单张图像中去除反射具有挑战性，因为缺乏通用的反射先验。虽然现有方法包含大量用户指导以实现满意的性能，但往往缺乏灵活性以适应不同模式的用户指导，密集的用户交互进一步限制了其实用性。为缓解这些问题，本文提出了FIRM框架，即一种灵活的交互式图像反射去除方法，支持多种形式的用户指导，用户可提供稀疏的视觉指导（如点、框或笔画）或文本描述以实现更好的反射去除。首先，我们设计了新的用户指导转换模块（UGC），将不同形式的指导转换为统一的对比掩码。对比掩码为识别混合图像中的反射层和传输层提供明确线索。其次，我们构思了一个由对比指导交互块（CGIB）支持的对比掩码引导反射去除网络。该块利用独特的跨注意力机制将对比掩码与图像特征融合，实现精确的层分离。该框架仅需前一种方法的10%的指导时间，为灵活性带来了突破。广泛的在公开真实世界反射去除数据集上的结果验证了该方法在反射去除性能方面实现了最先进的水平。代码可在 https://github.com/ShawnChenn/FlexibleReflectionRemoval 查阅。