基于深度多尺度分量字典的盲人脸修复
计算机视觉与模式识别
2020-08-04 v1
摘要
近年来，基于参考的人脸修复方法因其在真实低质量图像上恢复高频细节方面的强大能力而受到广泛关注。然而，这类方法大多需要同一身份的高质量参考图像，使其仅适用于有限场景。为解决此问题，本文提出一种深度人脸字典网络（称为 DFDNet）来引导退化观测的修复过程。首先，我们利用 K-means 从高质图像中为感知显著的人脸分量（即左/右眼、鼻子和嘴）生成深度字典。接着，对于退化输入，我们从相应字典中匹配并选择最相似的分量特征，并通过所提出的字典特征迁移（DFT）块将高质量细节迁移到输入中。特别地，我们利用分量 AdaIN 消除输入与字典特征之间的风格差异（如光照），并提出置信度分数来自适应地将字典特征融合到输入中。最后，以渐进方式采用多尺度字典以实现由粗到细的修复。实验表明，我们所提方法在定量与定性评价上均能取得合理性能，更重要的是，无需身份所属参考即可在真实退化图像上生成逼真且令人满意的结果。源代码与模型可在 \url{https://github.com/csxmli2016/DFDNet} 获取。
引用
@article{arxiv.2008.00418,
title = {Blind Face Restoration via Deep Multi-scale Component Dictionaries},
author = {Xiaoming Li and Chaofeng Chen and Shangchen Zhou and Xianhui Lin and Wangmeng Zuo and Lei Zhang},
journal= {arXiv preprint arXiv:2008.00418},
year = {2020}
}
备注
In ECCV 2020. Code is available at: https://github.com/csxmli2016/DFDNet