自然场景下的少样本头部交换
计算机视觉与模式识别
2022-04-28 v1 图形学
摘要
头部交换任务旨在将源头部无缝地放置到目标身体上，这对各种娱乐场景具有重要意义。尽管面部交换已引起广泛关注，但头部交换任务却很少被探索，尤其是在少样本设定下。由于其在头部建模和背景融合方面的独特需求，该任务本质上具有挑战性。在本文中，我们提出了 Head Swapper (HeSer)，它通过两个精心设计的模块实现了自然场景下的少样本头部交换。首先，设计了一个 Head2Head Aligner，通过检查多尺度信息，将姿态和表情信息从目标头部整体迁移到源头部。其次，为了解决交换过程中肤色变化和头部与背景不匹配的挑战，引入了一个 Head2Scene Blender，以同时修改面部肤色并填补头部周围背景中的不匹配间隙。特别是，借助语义引导的颜色参考创建过程和一个 Blending UNet 实现了无缝融合。大量实验表明，所提出的方法在多种场景下均能产生优越的头部交换结果。
引用
@article{arxiv.2204.13100,
title = {Few-Shot Head Swapping in the Wild},
author = {Changyong Shu and Hemao Wu and Hang Zhou and Jiaming Liu and Zhibin Hong and Changxing Ding and Junyu Han and Jingtuo Liu and Errui Ding and Jingdong Wang},
journal= {arXiv preprint arXiv:2204.13100},
year = {2022}
}
备注
Accepted to CVPR 2022 as Oral. Demo videos and code are available at https://jmliu88.github.io/HeSer