从生成的配对数据学习保持特征的肖像编辑
计算机视觉与模式识别
2024-07-31 v1
摘要
肖像编辑因难以保持主体特征（如身份）而具有挑战性。本文提出一种基于自动生成配对数据的训练方法，以学习所需的编辑方向并确保不变主体特征的保留。具体而言，我们设计了一种数据生成过程，以低成本创建所需编辑的合理训练配对。基于这些配对，我们引入一个多条件扩散模型（Multi-Conditioned Diffusion Model），有效学习编辑方向并保留主体特征。在推断期间，模型产生准确的编辑掩码，可进一步指导推断过程以保留详细的主体特征。在服装编辑和卡通表情编辑实验中，我们的方法在质量上实现了在质量和定性方面的最先进水平。
引用
@article{arxiv.2407.20455,
title = {Learning Feature-Preserving Portrait Editing from Generated Pairs},
author = {Bowei Chen and Tiancheng Zhi and Peihao Zhu and Shen Sang and Jing Liu and Linjie Luo},
journal= {arXiv preprint arXiv:2407.20455},
year = {2024}
}