基于扩散模型的视觉风格提示学习用于盲人脸恢复
计算机视觉与模式识别
2024-12-31 v1 多媒体
摘要
盲人脸恢复旨在从各种未识别的退化来源恢复高质量人脸图像，但由于从退化图像中可检索信息极少，面临重大挑战。已有基于先验知识的方法利用几何先验和人脸特征，虽在人脸恢复方面取得进展，但往往不足以捕获细节。为此，我们引入一种视觉风格提示学习框架，利用扩散概率模型在预训练生成模型的潜在空间中显式生成视觉提示，以引导恢复过程。为充分利用视觉提示并增强从信息丰富且富有模式的提取，我们引入了风格调制聚合变换层。大量实验和应用表明，我们的方法在实现高质量盲人脸恢复方面具有优势。源代码可在\href{https://github.com/LonglongaaaGo/VSPBFR}{https://github.com/LonglongaaaGo/VSPBFR}获取。
引用
@article{arxiv.2412.21042,
title = {Visual Style Prompt Learning Using Diffusion Models for Blind Face Restoration},
author = {Wanglong Lu and Jikai Wang and Tao Wang and Kaihao Zhang and Xianta Jiang and Hanli Zhao},
journal= {arXiv preprint arXiv:2412.21042},
year = {2024}
}
备注
Published at Pattern Recognition; 13 pages, 11 figures