基于身份解耦与适配的个性化人脸超分辨率
计算机视觉与模式识别
2025-08-18 v1
摘要
近年来,人脸超分辨率(Face Super-Resolution, FSR)方法取得了显著进展,通常在标准设置下保持高图像保真度和身份一致性(Identity, ID)。然而,在极端退化场景(如放大因子 > 8{\times})下,关键属性和 ID 信息常常在输入图像中严重丢失,使得常规模型难以重建真实且 ID 一致的人脸。现有方法倾向于在此类条件下生成幻觉人脸,导致恢复图像缺乏真实的 ID 约束。为此,我们提出一种新颖的 FSR 方法,具备 Identity Decoupling and Fitting(IDFSR),旨在大幅放大因子下增强 ID 恢复,同时缓解幻觉效应。我们的方法包含三个关键设计:1)**掩码**处理低分辨率(Low-Resolution, LR)图像中的人脸区域,以消除不可靠的 ID 线索;2)**错位**参考图像以与 LR 输入对齐,提供风格指导;3)利用从 ground truth(GT)图像中提取的 ID 嵌入进行精细的 ID 模型和个性化适应。我们首先预训练一个基于扩散的模型,以强制其使用风格和身份嵌入来重建被掩码的 LR 人脸区域,从而实现风格与 ID 的显式解耦。随后,我们冻结大部分网络参数,仅对 ID 嵌入进行轻量级微调,所需的目标 ID 图像数量极少。该嵌入编码了面部细节属性和精确的 ID 信息,显著提升了 ID 一致性和感知质量。广泛的定量评估和视觉比较表明,所提出的 IDFSR 在极端退化条件下显著优于现有方法,尤其在 ID 一致性方面表现卓越。
引用
@article{arxiv.2508.10937,
title = {Personalized Face Super-Resolution with Identity Decoupling and Fitting},
author = {Jiarui Yang and Hang Guo and Wen Huang and Tao Dai and Shutao Xia},
journal= {arXiv preprint arXiv:2508.10937},
year = {2025}
}