基于深度潜空间变换的老照片修复
计算机视觉与模式识别
2020-09-16 v1 图形学
摘要
我们提出通过深度学习方法修复遭受严重退化的老照片。与可通过监督学习解决的传统修复任务不同，真实照片中的退化复杂，且合成图像与真实老照片间的域差距使网络无法泛化。因此，我们利用真实照片与大量合成图像对，提出一种新颖的三元组域变换网络。具体而言，我们训练两个变分自编码器 (VAEs) 分别将老照片与干净照片变换到两个潜空间。这两个潜空间之间的变换由合成配对数据学习。该变换在紧凑潜空间中缩小了域差距，因此对真实照片泛化良好。此外，为处理一张老照片中混合的多种退化，我们设计了一个带部分非局部块的全局分支，针对划痕和尘斑等结构化缺陷，以及一个针对噪声和模糊等非结构化缺陷的局部分支。两个分支在潜空间中融合，提升了对多重缺陷老照片的修复能力。进一步地，我们应用另一个人脸细化网络恢复老照片中人脸的精细细节，从而最终生成感知质量增强的照片。通过综合实验，所提流程在老照片修复的视觉质量上优于 SOTA 方法以及现有商业工具。
引用
@article{arxiv.2009.07047,
title = {Old Photo Restoration via Deep Latent Space Translation},
author = {Ziyu Wan and Bo Zhang and Dongdong Chen and Pan Zhang and Dong Chen and Jing Liao and Fang Wen},
journal= {arXiv preprint arXiv:2009.07047},
year = {2020}
}
备注
15 pages. arXiv admin note: substantial text overlap with arXiv:2004.09484