Refine-by-Align：基于语义对齐的参考引导性瑕疵细化
计算机视觉与模式识别
2024-12-03 v1
摘要
生成式模型的近期进展推动了个性化图像生成的发展，但这些生成的个性化图像常常存在局部瑕疵，如错误标识符，降低了生成结果的保真度和细粒度身份细节。此外，针对这一问题的工作甚少。为提升个性化图像生成中的身份细节，我们引入了新的任务：参考引导性瑕疵细化。我们提出了Refine-by-Align，一种首创性模型，采用扩散框架以应对这一挑战。该模型包含两个阶段：对齐阶段和细化阶段，两者共享统一神经网络模型的权重。给定生成图像、被遮蔽的瑕疵区域及参考图像，对齐阶段识别并提取参考图像中对应区域的特征，随后由细化阶段利用这些特征修复瑕疵。该模型无关的管道无需测试时微调或优化，能够自动提升生成图像的保真度和参考身份，广泛适用于包括但不限于定制化、生成式合成、视图合成和虚拟试穿等各种任务。大量实验和比较表明，我们的管道显著推动了图像合成模型中细节的边界。
引用
@article{arxiv.2412.00306,
title = {Refine-by-Align: Reference-Guided Artifacts Refinement through Semantic Alignment},
author = {Yizhi Song and Liu He and Zhifei Zhang and Soo Ye Kim and He Zhang and Wei Xiong and Zhe Lin and Brian Price and Scott Cohen and Jianming Zhang and Daniel Aliaga},
journal= {arXiv preprint arXiv:2412.00306},
year = {2024}
}