面向目标移除的修复驱动掩模优化

本文提出了一种掩模优化方法,用于提升利用图像修复进行目标移除的质量。尽管许多修复方法使用一组随机掩模进行训练,但在许多实际场景中,修复的目标可能是人等物体。训练与推理图像中掩模之间的这种领域差异增加了修复任务的难度。在本文方法中,通过使用由分割提取的目标掩模训练修复网络来解决该领域差异,且此类目标掩模同样用于推理阶段。此外,为了针对修复优化目标掩模,将分割网络与修复网络相连并进行端到端训练,以提升修复性能。我们提出的掩模扩展损失进一步增强了端到端训练的效果,从而在大掩模与小掩模之间实现良好的折中。实验结果证明了我们方法在利用图像修复实现更优目标移除方面的有效性。