SVFR：面向通用视频人脸修复的统一框架
计算机视觉与模式识别
2025-01-06 v2 机器学习
图像与视频处理
摘要
人脸修复（Face Restoration, FR）是图像和视频处理中的关键领域，旨在从受损输入重建高质量的人像。尽管图像人脸修复取得了显著进展，视频人脸修复仍相对不被充分探索，主要由于时序一致性、运动伪影以及高质量视频数据稀缺的挑战。此外，传统的人脸修复通常侧重于提升分辨率，可能并未充分考虑面部着色和填充等相关任务。本文提出了一种用于通用视频人脸修复（GVFR）的新方法，将视频 BFR、填充和着色任务整合在一起，我们经验性地表明这些任务彼此有益。我们提出了统一框架，称为稳定视频人脸修复（SVFR），该框架利用Stable Video Diffusion（SVD）的生成和运动先验，并通过统一的人脸修复框架整合任务特定信息。引入可学习的任务嵌入以增强任务识别。同时，采用新颖的统一潜在正则化（Unified Latent Regularization, ULR）以鼓励不同子任务之间共享特征表示的学习。为进一步提升修复质量和时序稳定性，我们引入面部先验学习和自指细化作为用于训练和推理的辅助策略。该框架有效地结合了这些任务的互补优势，增强了时序一致性，实现了卓越的修复质量。本工作推动了视频人脸修复领域的技术发展，建立了通用视频人脸修复的新范式。代码和视频演示可在 https://github.com/wangzhiyaoo/SVFR.git 访问。
引用
@article{arxiv.2501.01235,
title = {SVFR: A Unified Framework for Generalized Video Face Restoration},
author = {Zhiyao Wang and Xu Chen and Chengming Xu and Junwei Zhu and Xiaobin Hu and Jiangning Zhang and Chengjie Wang and Yuqi Liu and Yiyi Zhou and Rongrong Ji},
journal= {arXiv preprint arXiv:2501.01235},
year = {2025}
}