InstantRestore：基于共享图像注意力的单步个性化人脸修复
计算机视觉与模式识别
2024-12-10 v1
摘要
人脸图像修复旨在增强受损的人脸图像，同时需解决多样化的退化类型、实时处理需求以及最关键的身份特征保持问题。现有方法常在处理速度和恢复质量方面表现不佳，尤其在严重退化情况下，难以准确重构细粒度的身份细节。为此，本文引入 InstantRestore 框架，利用单步图像扩散模型和注意力共享机制实现快速且个性化的人脸修复。此外，InstantRestore 融入新颖的地标注意力损失，通过对关键面部地标进行对齐来细化注意力图，从而增强身份保持效果。在推理阶段，给定受损输入和约4个参考图像，InstantRestore 仅需一次前向传播即可实现接近实时性能。不同于依赖完整扩散过程或 per-identity 模型调谐的先前方法，InstantRestore 提供了适用于大规模应用的可扩展解决方案。大量实验表明，InstantRestore 在质量和速度上均优于现有方法，成为身份保留人脸修复的理想选择。
引用
@article{arxiv.2412.06753,
title = {InstantRestore: Single-Step Personalized Face Restoration with Shared-Image Attention},
author = {Howard Zhang and Yuval Alaluf and Sizhuo Ma and Achuta Kadambi and Jian Wang and Kfir Aberman},
journal= {arXiv preprint arXiv:2412.06753},
year = {2024}
}
备注
Project page: https://snap-research.github.io/InstantRestore/