纹理记忆增强的基于深度块的图像修复
计算机视觉与模式识别
2021-11-05 v2 机器学习
图像与视频处理
摘要
基于块的方法与深度网络已被用于解决图像修复问题，二者各有优劣。基于块的方法能够通过从非掩膜区域搜索最近邻块，以高质量纹理恢复缺失区域。然而，这些方法在恢复大块缺失区域时会引入有问题内容。另一方面，深度网络在完成大区域时展现出有前景的结果。但结果往往缺乏类似于周边区域的忠实而清晰的细节。结合两种范式的最佳特性，我们提出了一种新的深度修复框架，其中纹理生成由从非掩膜区域提取的块样本纹理记忆引导。该框架具有新颖设计，允许纹理记忆检索与深度修复网络端到端联合训练。此外，我们引入了块分布损失以促进高质量块合成。所提方法在三个具有挑战性的图像基准（即 Places、CelebA-HQ 和 Paris Street-View 数据集）上在定性与定量方面均展现出优越性能。
引用
@article{arxiv.2009.13240,
title = {Texture Memory-Augmented Deep Patch-Based Image Inpainting},
author = {Rui Xu and Minghao Guo and Jiaqi Wang and Xiaoxiao Li and Bolei Zhou and Chen Change Loy},
journal= {arXiv preprint arXiv:2009.13240},
year = {2021}
}
备注
Published on TIP. Project Page: https://nbei.github.io/tmad.html