CusEnhancer：基于ResInversion的零样本场景与可控性增强方法用于照片定制
计算机视觉与模式识别
2025-09-26 v1 人工智能
摘要
最近在合成逼真的人类照片方面取得了显著进展，但当前方法面临场景退化、控制不足和感知身份不佳的问题。我们提出CustomEnhancer，一个新的框架来增强现有的身份定制模型。CustomEnhancer是一个零样本增强管道，利用面部替换技术和预训练扩散模型，以零样本方式获取额外的表示用于编码到个人化模型中。通过我们提出的三流融合PerGeneration方法，该方法识别并组合两个兼容的逆向潜在空间以操作个人化模型的关键空间，从而实现从三个流中进行生成和重建。我们的管道还可为个人化模型的生成过程实现全面的训练-free控制，为它们提供精确的受控定制，消除针对每个模型的控制器重新训练的需求。此外，为解决空文本反演(NTI)的高时间复杂性问题，我们引入ResInversion，这是一种新的反演方法，通过预扩散机制实现噪声校正，将反演时间缩短129倍。实验表明，CustomEnhancer在场景多样性、身份保真度、训练-free控制方面达到SOTA水平，同时展示了ResInversion相对于NTI的效率。代码将在论文接受后公开。
引用
@article{arxiv.2509.20775,
title = {CusEnhancer: A Zero-Shot Scene and Controllability Enhancement Method for Photo Customization via ResInversion},
author = {Maoye Ren and Praneetha Vaddamanu and Jianjin Xu and Fernando De la Torre Frade},
journal= {arXiv preprint arXiv:2509.20775},
year = {2025}
}