基于增强解耦特征一致性的人体姿态迁移
计算机视觉与模式识别
2023-12-18 v4
摘要
深度生成模型在合成具有任意人体姿态的图像以及将一个人的姿态迁移给其他人方面取得了巨大进展。尽管已经提出了许多不同的方法来生成具有高视觉保真度的图像，但主要挑战依然存在，且源于两个根本问题：姿态模糊和外观不一致。为了缓解当前的局限性并提高合成图像的质量，我们提出了一种具有增强解耦特征一致性 (Disentangled Feature Consistency, DFC) 的姿态迁移网络 (DFC-Net)，以促进人体姿态迁移。给定一对包含源人物和目标人物的图像，DFC-Net 分别从源人物和目标人物提取姿态和静态信息，然后合成一张具有源人物期望姿态的目标人物图像。此外，DFC-Net 在对抗训练中利用解耦特征一致性损失来增强迁移连贯性，并集成了一个关键点放大器以增强姿态特征提取。借助解耦特征一致性损失，我们进一步提出了一种新颖的数据增强方案，该方案引入了带有增强一致性约束的非配对支持数据，以提高 DFC-Net 的泛化性和鲁棒性。在 Mixamo-Pose 和 EDN-10k 上的大量实验结果表明，DFC-Net 在姿态迁移上取得了 SOTA 性能。
引用
@article{arxiv.2107.10984,
title = {Human Pose Transfer with Augmented Disentangled Feature Consistency},
author = {Kun Wu and Chengxiang Yin and Zhengping Che and Bo Jiang and Jian Tang and Zheng Guan and Gangyi Ding},
journal= {arXiv preprint arXiv:2107.10984},
year = {2023}
}
备注
22 pages, 6 figures