RefSTAR：基于参考选择、传递与重构的盲人脸图像修复
计算机视觉与模式识别
2025-07-15 v1
摘要
盲人脸图像修复由于未知的复杂退化及其对人脸的敏感性而极具挑战性。虽然现有方法通过引入生成先验或高质量参考图像来获取辅助信息，但仍因特征在细节纹理上的不当引入而难以解决身份保留问题。本文聚焦于有效地整合来自高质量参考图像的合适特征，提出了一种考虑参考选择、传递与重构（RefSTAR）的新型盲人脸图像修复方法。在选择方面，我们构建了参考选择（RefSel）模块。为训练 RefSel 模块，我们通过掩码生成管道构建了包含 10,000 个 ground truth-reference 对并标注掩码的 RefSel-HQ 数据集。关于传递，由于基础跨注意力操作中存在平凡解，设计了一种特征融合范式以强制参考特征被整合。最后，我们提出了参考图像重构机制，以进一步确保输出图像中存在参考图像特征。我们还随掩码一起重新设计了循环一致性损失。广泛的实验表明，该方法在各种主干模型上表现卓越，显示出更好的身份保留能力和参考特征传递质量。源码、数据集和预训练模型均可在 https://github.com/yinzhicun/RefSTAR 获取。
引用
@article{arxiv.2507.10470,
title = {RefSTAR: Blind Facial Image Restoration with Reference Selection, Transfer, and Reconstruction},
author = {Zhicun Yin and Junjie Chen and Ming Liu and Zhixin Wang and Fan Li and Renjing Pei and Xiaoming Li and Rynson W. H. Lau and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2507.10470},
year = {2025}
}