基于语义引导的交互式图像修复
计算机视觉与模式识别
2022-01-27 v1 人工智能
摘要
在深度神经网络的帮助下，图像修复方法取得了显著进展。然而，现有方法主要侧重于利用神经网络学习的先验分布来产生单一修复结果或进一步产生多种解，其中可控性未被充分研究。本文开发了一种新颖的图像修复方法，使用户能根据自己的偏好或记忆定制修复结果。具体地，我们的方法由两阶段组成，利用神经网络先验与用户引导共同修复受损图像。第一阶段，部署基于新颖外部空间注意力机制的自编码器来产生受损图像的重建特征，以及提供语义掩码作为用户交互媒介的粗修复结果。第二阶段，采用以重建特征为先验的语义解码器，在用户定制语义掩码引导下合成精细修复结果，从而使最终修复结果与用户引导具有相同内容，同时保留第一阶段重建的纹理与颜色。大量实验证明了我们的方法在修复质量和可控性方面的优越性。
引用
@article{arxiv.2201.10753,
title = {Interactive Image Inpainting Using Semantic Guidance},
author = {Wangbo Yu and Jinhao Du and Ruixin Liu and Yixuan Li and Yuesheng zhu},
journal= {arXiv preprint arXiv:2201.10753},
year = {2022}
}