中文

RestorerID:面向无调参人脸修复的 ID 保存方法

计算机视觉与模式识别 2024-11-22 v1

摘要

盲人脸修复已取得显著进展,能够生成高质量且逼真的图像。然而在退化程度较大时,仍然难以保留身份信息。当前的参考导向人脸修复方法要么需要人脸对齐,要么需要个人化的测试调优,这两种方式要么不忠实,要么代价昂贵。本文提出一种无调参的方法 RestorerID,通过在人脸修复期间集成 ID 保存来实现此目标。RestorerID 基于扩散模型,利用单个参考图像对具有不同程度退化的低质量图像进行修复。为实现此目标,我们提出了统一框架,将 ID 注入与基本盲人脸修复模型结合。此外,我们设计了一种新颖的面脸 ID 再平衡适配器(FIR-Adapter),以解决由低质量输入与参考图像之间信息冲突导致的内容不一致和轮廓错位问题。进一步,通过采用自适应 ID 比例调整策略,RestorerID 能在各种退化程度下产生优异的修复图像。在 Celeb-Ref 数据集和真实场景下的实验结果表明,RestorerID 能有效地实现高质量人脸修复并保留身份信息,相较于测试调优方法和其他参考导向方法,性能显著优越。RestorerID 的代码已公开于 \url{https://github.com/YingJiacheng/RestorerID}。

关键词

引用

@article{arxiv.2411.14125,
  title  = {RestorerID: Towards Tuning-Free Face Restoration with ID Preservation},
  author = {Jiacheng Ying and Mushui Liu and Zhe Wu and Runming Zhang and Zhu Yu and Siming Fu and Si-Yuan Cao and Chao Wu and Yunlong Yu and Hui-Liang Shen},
  journal= {arXiv preprint arXiv:2411.14125},
  year   = {2024}
}

备注

10 pages, 10 figures