用于超高分辨率图像修复的上下文残差聚合
计算机视觉与模式识别
2020-05-21 v1 图形学
摘要
近来数据驱动的图像修复方法取得了令人鼓舞的进展,影响了目标移除和破损图像修复等基础图像编辑任务。这些方法比经典方法更有效,然而由于内存限制,它们只能处理低分辨率输入,通常小于1K。同时,移动设备拍摄的照片分辨率高达8K。对低分辨率修复结果进行朴素上采样仅能产生大而模糊的结果。相反,将高频残差图像叠加到大而模糊的图像上可生成锐利、细节与纹理丰富的结果。受此启发,我们提出一种上下文残差聚合(CRA)机制,可通过加权聚合来自上下文块的残差为缺失内容生成高频残差,从而仅需网络给出低分辨率预测。由于神经网络的卷积层只需在低分辨率输入输出上运算,内存与算力的开销因此被良好抑制。此外,对高分辨率训练数据集的需求也得以缓解。在我们的实验中,我们在分辨率为512x512的小图像上训练所提模型,并在高分辨率图像上推理,取得了引人注目的修复质量。我们的模型可修复大至8K且孔洞尺寸可观的图像,这是先前基于学习的方法难以处理的。我们进一步详述了网络架构的轻量设计,在GTX 1080 Ti GPU上实现了2K图像的实时性能。代码见:Atlas200dk/sample-imageinpainting-HiFill。
引用
@article{arxiv.2005.09704,
title = {Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting},
author = {Zili Yi and Qiang Tang and Shekoofeh Azizi and Daesik Jang and Zhan Xu},
journal= {arXiv preprint arXiv:2005.09704},
year = {2020}
}
备注
CVPR 2020 oral paper. 22 pages, 11 figures