拼凑谜题碎片：基于纹理置换的解耦自驱动人体姿态迁移
计算机视觉与模式识别
2023-09-01 v3
摘要
人体姿态迁移为给定姿态合成人的新视角图像。近期工作通过自重建实现该目标，其将人的姿态与纹理信息在部件层面解耦，再重组以重建。然而，部件级解耦保留了部分姿态信息，会产生不期望的伪影。本文提出基于纹理置换的姿态迁移（PT），一种在块（patch）级别将姿态与纹理解耦的自驱动人体姿态迁移方法。具体而言，我们通过置换图像块来去除输入图像中的姿态，仅保留纹理信息；随后通过从置换纹理中采样以重建输入图像，实现块级解耦。为降低噪声并从置换块中恢复衣物形状信息，我们在三分支网络中采用多核尺寸编码器。在DeepFashion和Market-1501上，PT在自动指标上较其他自驱动方法显著提升，甚至优于部分全监督方法。用户研究亦表明，相较已有自驱动方法，68%的情况下受试者更偏好本方法生成的图像。代码见 https://github.com/NannanLi999/pt_square。
引用
@article{arxiv.2210.01887,
title = {Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures},
author = {Nannan Li and Kevin J. Shih and Bryan A. Plummer},
journal= {arXiv preprint arXiv:2210.01887},
year = {2023}
}
备注
Accepted to ICCV 2023