基于空间自适应扭曲归一化的可控人体图像合成
计算机视觉与模式识别
2023-01-11 v3 图形学
摘要
可控人体图像生成旨在生成具有期望属性（如给定姿态、衣物纹理或发型）的真实人体图像。然而，源图像与目标图像之间较大的空间错位使得标准的图像到图像翻译架构不适用于该任务。大多数最先进的方法专注于全局姿态迁移任务的对齐，但它们无法处理区域特定的纹理迁移任务，尤其是对于具有复杂纹理的人体图像。为解决此问题，我们提出了一种新颖的空间自适应扭曲归一化（SAWN），其集成了学习到的流场来扭曲调制参数，使我们能够高效地将人体的空间自适应风格与姿态特征对齐。此外，我们提出了一种新颖的自训练部件替换（STPR）策略来精炼纹理迁移任务的模型，提升了生成衣物的质量以及非目标区域的保持能力。我们在广泛使用的 DeepFashion 数据集上的实验结果表明，所提方法在姿态迁移和纹理迁移任务上相比最先进方法均有显著提升。代码见 https://github.com/zhangqianhui/Sawn。
引用
@article{arxiv.2105.14739,
title = {Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization},
author = {Jichao Zhang and Aliaksandr Siarohin and Hao Tang and Enver Sangineto and Wei Wang and Humphrey Sh and Nicu Sebe},
journal= {arXiv preprint arXiv:2105.14739},
year = {2023}
}
备注
12 pages