面向人脸复原的对偶关联编码器
计算机视觉与模式识别
2024-01-23 v2
摘要
由于真实场景中多种退化导致的病态性，从低质量（LQ）图像恢复面部细节一直是个挑战。现有码本先验通过利用自动编码器与学习到的高质量（HQ）特征码本来缓解病态性，取得了显著效果。然而，该范式下的现有方法常依赖在 HQ 数据上预训练的单编码器来复原 HQ 图像，忽视了 LQ 与 HQ 图像间的域差距。因此，LQ 输入的编码可能不充分，导致次优性能。为解决这个问题，我们提出名为 DAEFR 的新型双分支框架。我们的方法引入一个辅助 LQ 分支来从 LQ 输入中提取关键信息。此外，我们加入关联训练以促进两分支间的有效协同，提升码预测与输出质量。我们在合成与真实世界数据集上评估了 DAEFR 的有效性，证明其恢复面部细节的优越性能。项目主页：https://liagm.github.io/DAEFR/
引用
@article{arxiv.2308.07314,
title = {Dual Associated Encoder for Face Restoration},
author = {Yu-Ju Tsai and Yu-Lun Liu and Lu Qi and Kelvin C. K. Chan and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2308.07314},
year = {2024}
}
备注
ICLR 2024, Project page: https://liagm.github.io/DAEFR/