NAPA：神经艺术人体姿态增强器
计算机视觉与模式识别
2020-12-16 v1
摘要
这是 CSCI-GA.2271-001 的课程项目报告。我们面向艺术图像中的人体姿态估计。为此，我们设计了一个端到端系统，利用神经风格迁移进行姿态回归。我们收集了 277 种风格的任意风格迁移集合，并构建了 281 张图像的艺术测试集。我们直接在测试集上运行姿态回归并展示了有前景的结果。对于姿态回归，我们提出了一种由二维诱导的骨骼图，并从中提升出姿态。为辅助该提升，我们额外标注了全量野外 MPII 数据集的伪三维标签。进一步，我们追加另一风格迁移作为自监督以改进二维。我们进行了充分的消融实验来分析所引入的特征。我们还将端到端与逐风格训练进行比较，并提及风格迁移与姿态回归之间的权衡。最后，我们将模型推广至真实世界人体数据集，并展示其作为通用姿态模型的潜力。理论基见于附录。我们在 https://github.com/strawberryfg/NAPA-NST-HPE 发布了代码、数据与视频。
引用
@article{arxiv.2012.08501,
title = {NAPA: Neural Art Human Pose Amplifier},
author = {Qingfu Wan and Oliver Lu},
journal= {arXiv preprint arXiv:2012.08501},
year = {2020}
}
备注
Tech Report; Graduate Course Project Report; Code, datasets and video released