HS-Diffusion：用于换头的语义混合扩散模型
计算机视觉与模式识别
2023-08-04 v3
摘要
基于图像的换头任务旨在将源头部无缝缝合到另一源身体上。这一极少被研究的任务面临两大挑战：1）在保留来自不同源的头部与身体的同时生成无缝过渡区域。2）迄今没有成对的换头数据集与基准。本文中，我们提出一种用于换头的语义混合扩散模型（HS-Diffusion），其由潜在扩散模型（LDM）与语义布局生成器组成。我们混合源头部与源身体的语义布局，然后通过语义布局生成器修补过渡区域，实现粗粒度换头。语义混合 LDM 可通过渐进融合过程以修补后的布局为条件进一步实现细粒度换头，同时以高质量重建保留头部与身体。为此，我们提出一种用于自然修补的语义校准策略与一种用于几何真实性的颈部对齐。重要的是，我们构建了一个新的基于图像的换头基准并设计了两个专门定制的度量（Mask-FID 与 Focal-FID）。大量实验证明了我们框架的优越性。代码将公开于：https://github.com/qinghew/HS-Diffusion。
引用
@article{arxiv.2212.06458,
title = {HS-Diffusion: Semantic-Mixing Diffusion for Head Swapping},
author = {Qinghe Wang and Lijie Liu and Miao Hua and Pengfei Zhu and Wangmeng Zuo and Qinghua Hu and Huchuan Lu and Bing Cao},
journal= {arXiv preprint arXiv:2212.06458},
year = {2023}
}