NeuralReshaper：基于深度神经网络的单图像人体修饰
计算机视觉与模式识别
2023-08-15 v3 图形学
摘要
本文提出 NeuralReshaper，一种利用深度生成网络对单图像中人体进行语义重塑的新方法。为实现全局一致的重塑效果，我们的方法遵循“先拟合后重塑”的流程，首先将参数化三维人体模型拟合到源人体图像，然后根据用户指定的语义属性对拟合的三维模型进行重塑。先前的方法依赖图像扭曲将三维重塑效果迁移至整个图像域，因而常导致前景与背景的畸变。相比之下，我们借助以源图像和由重塑后三维模型诱导的二维扭曲场为条件的生成对抗网络（GAN），获得更真实的重塑结果。具体而言，我们使用双头类 UNet 生成器分别编码源图像中的前景与背景信息，并通过特征空间扭曲引导信息从前景分支流向背景分支。此外，针对缺乏配对数据（即同一人体不同体型）的问题，我们引入一种新颖的自监督策略来训练网络。与以往常需人工修正因人体到图像拟合错误所致不良伪影的方法不同，我们的方法完全自动。在室内与室外数据集上的大量实验证明了本方法相对于先前方法的优越性。
引用
@article{arxiv.2203.10496,
title = {NeuralReshaper: Single-image Human-body Retouching with Deep Neural Networks},
author = {Beijia Chen and Yuefan Shen and Hongbo Fu and Xiang Chen and Kun Zhou and Youyi Zheng},
journal= {arXiv preprint arXiv:2203.10496},
year = {2023}
}