基于双枢轴微调的个性化修复
计算机视觉与模式识别
2023-12-29 v1
摘要
生成式扩散模型可作为先验，确保图像修复系统的解遵循自然图像流形。然而，对于人脸图像修复，需要个性化先验以准确表示和重建给定个体的独特面部特征。在本文中，我们提出了一种简单而有效的个性化修复方法，称为双枢轴微调（Dual-Pivot Tuning）——这是一种两阶段方法，旨在对盲修复系统进行个性化，同时保持通用先验的完整性及各组件的独特作用。我们的关键观察是：为了实现最佳个性化，生成模型应围绕固定的文本枢轴进行微调，而引导网络则应以通用（非个性化）方式进行微调，并将个性化生成模型作为固定“枢轴”。这种方法确保了个性化不会干扰修复过程，从而在保持与个人身份及退化图像属性高度一致的同时，获得自然的外观。我们通过针对广泛知名人物图像的大量实验，对该方法进行了定性和定量评估，并与相关基线进行了比较。令人惊讶的是，我们发现我们的个性化先验不仅在个人身份一致性方面实现了更高的保真度，而且在通用图像质量方面也优于最先进的通用先验。项目网页：https://personalized-restoration.github.io
引用
@article{arxiv.2312.17234,
title = {Personalized Restoration via Dual-Pivot Tuning},
author = {Pradyumna Chari and Sizhuo Ma and Daniil Ostashev and Achuta Kadambi and Gurunandan Krishnan and Jian Wang and Kfir Aberman},
journal= {arXiv preprint arXiv:2312.17234},
year = {2023}
}