从稠密身体部位学习三维人体形状与姿态
计算机视觉与模式识别
2020-12-08 v2
摘要
尽管最新的基于学习的方法取得了令人鼓舞的结果，但从单目图像重建三维人体形状与姿态仍然具有挑战性。普遍出现的错位源于以下事实：从图像到模型空间的映射高度非线性，且身体模型基于旋转的姿态表示容易导致关节位置漂移。在本工作中，我们研究从身体部位的稠密对应关系中学习三维人体形状与姿态，并提出一种分解-聚合网络（Decompose-and-aggregate Network, DaNet）来解决这些问题。DaNet采用稠密对应图作为中间表示，在二维像素与三维顶点之间密集地搭建桥梁，以促进二维到三维映射的学习。DaNet的预测模块被分解为一个全局流和多个局部流，分别实现形状和姿态预测的全局感知与细粒度感知。来自局部流的信息被进一步聚合以增强基于旋转的姿态的鲁棒预测，其中提出了一种位置辅助旋转特征精炼策略来利用身体关节之间的空间关系。此外，引入了一种基于部位的丢弃（Part-based Dropout, PartDrop）策略，在训练期间从中间表示中丢弃稠密信息，鼓励网络关注更具互补性的身体部位以及相邻位置特征。所提方法的有效性在包括Human3.6M、UP3D、COCO和3DPW在内的室内与真实世界数据集上得到验证，表明与先前最先进（state-of-the-art, SOTA）方法相比，我们的方法能显著提升重建性能。我们的代码公开于 https://hongwenzhang.github.io/dense2mesh 。
引用
@article{arxiv.1912.13344,
title = {Learning 3D Human Shape and Pose from Dense Body Parts},
author = {Hongwen Zhang and Jie Cao and Guo Lu and Wanli Ouyang and Zhenan Sun},
journal= {arXiv preprint arXiv:1912.13344},
year = {2020}
}
备注
Journal article accepted by IEEE TPAMI. Project page: https://hongwenzhang.github.io/dense2mesh