面向双盲人脸修复的隐式子空间先验学习
计算机视觉与模式识别
2020-10-13 v1
摘要
人脸修复本质上是一个病态问题，通常认为额外的先验约束对于缓解此类病态性至关重要。然而，真实世界图像先验往往难以用精确的数学模型进行模拟，这不可避免地限制了现有先验正则化修复方法的性能与泛化能力。本文研究了一种更实际的“双盲”设定下的人脸修复问题，即不对退化过程或图像内容施加先验假设或手工正则化项。为此，我们提出了一种新颖的隐式子空间先验学习（ISPL）框架，作为双盲人脸修复的通用解决方案，其包含两个关键要素：1）一种规避病态修复映射的隐式表述；2）一种子空间先验分解与融合机制，用以动态处理不同退化程度的输入并保持一致的高质量修复结果。实验结果表明，针对多种修复子任务，ISPL 相较现有最优方法在感知-失真方面取得显著提升，其中相较 2018 年 NTIRE 超分辨率挑战赛冠军 ESRGAN 取得了 3.69dB PSNR 与 45.8% FID 的提升。总体而言，我们证明了无需显式建模即可捕获并利用先验知识，这将有助于启发面向底层视觉任务的新研究范式。
引用
@article{arxiv.2010.05508,
title = {Implicit Subspace Prior Learning for Dual-Blind Face Restoration},
author = {Lingbo Yang and Pan Wang and Zhanning Gao and Shanshe Wang and Peiran Ren and Siwei Ma and Wen Gao},
journal= {arXiv preprint arXiv:2010.05508},
year = {2020}
}
备注
TPAMI submission