ENTED：面向基于参考的盲人脸修复的增强神经纹理提取与分布框架
计算机视觉与模式识别
2024-01-17 v1
摘要
我们提出了 ENTED，一个旨在修复高质量、逼真肖像图像的盲人脸修复新框架。我们的方法涉及使用一张高质量参考图像来修复单张退化输入图像。我们利用纹理提取与分布框架，在退化输入图像和参考图像之间传递高质量纹理特征。然而，我们框架中类似 StyleGAN 的架构需要高质量的潜码来生成逼真图像。从退化输入图像中提取的潜码通常包含损坏的特征，这使得将输入的语义信息与参考的高质量纹理对齐变得困难。为克服这一挑战，我们采用了两种特殊技术。第一种技术受矢量量化启发，用高质量码字替换损坏的语义特征。第二种技术生成风格码，这些风格码携带逼真的纹理信息，源自一个利用参考图像流形中高质量特征开发的、信息更丰富的潜空间。在合成数据集和真实世界数据集上进行的大量实验表明，我们的方法能生成具有更逼真上下文细节的结果，并优于最先进的方法。全面的消融研究证实了每个所提出模块的有效性。
引用
@article{arxiv.2401.06978,
title = {ENTED: Enhanced Neural Texture Extraction and Distribution for Reference-based Blind Face Restoration},
author = {Yuen-Fui Lau and Tianjia Zhang and Zhefan Rao and Qifeng Chen},
journal= {arXiv preprint arXiv:2401.06978},
year = {2024}
}