保持内部空间生成的姿态机
计算机视觉与模式识别
2018-08-08 v1
摘要
基于图像的生成方法，如生成对抗网络（GANs），已经能够在很大程度上控制上下文的情况下生成逼真的图像，尤其是在有条件约束时。然而，大多数成功的框架共享一个共同流程，即进行图像到图像的转换，而图像中人物的姿态保持不变。当目标是在保留图像其余部分的同时重新摆放图像中人物的姿态时，当前最先进的方法主要假设单一刚体、简单背景和有限的姿态偏移，难以扩展到正常设置下的图像。本文引入了一种图像“内部空间”保持模型，该模型为图像中的关节型人物分配一个可解释的低成本姿态描述符（LDPD）。然后，通过将 LDPD 和原始图像传入条件 GAN 结构中的多阶段增强沙漏网络来生成人物重摆，称为内部空间保持生成姿态机（ISP-GPM）。我们在重摆人体人物上评估了 ISP-GPM，这些人物体关节高度灵活且变化多样。在我们的重摆数据集上，最先进的姿态估计器在 PCK0.5 指标上给出了超过 80% 的准确率。结果还阐明，我们的 ISP-GPM 能够以高准确率保持背景，同时合理恢复被重摆人物遮挡的区域。
引用
@article{arxiv.1808.02104,
title = {Inner Space Preserving Generative Pose Machine},
author = {Shuangjun Liu and Sarah Ostadabbas},
journal= {arXiv preprint arXiv:1808.02104},
year = {2018}
}
备注
http://www.northeastern.edu/ostadabbas/2018/07/23/inner-space-preserving-generative-pose-machine/