TRB：一种用于理解 2D 人体姿态的新颖三元组表示
计算机视觉与模式识别
2019-10-28 v1
摘要
人体姿态与形状是 2D 人体的两个重要组成部分。然而，如何高效地在图像中表示二者仍是一个开放问题。本文中，我们提出人体三元组表示（TRB）——一种紧凑的 2D 人体表示，其中骨架关键点捕获人体姿态信息，轮廓关键点包含人体形状信息。TRB 不仅保留了骨架关键点表示的灵活性，还包含丰富的姿态与人体形状信息。因此，它具有更广阔的应用领域，如人体形状编辑与条件图像生成。我们进一步引入 TRB 估计这一具有挑战性的问题，其需要人体姿态与形状的联合学习。我们基于流行的 2D 姿态数据集：LSP、MPII、COCO，构建了多个大规模 TRB 估计数据集。为有效解决 TRB 估计，我们提出一种双分支网络（TRB-net），配备三种新技术，即 X-structure（Xs）、Directional Convolution（DC）与 Pairwise Mapping（PM），以强制执行多级消息传递用于联合特征学习。我们在所提出的 TRB 数据集上评估了我们的 TRB-net 与几种领先方法，并通过大量评估证明了我们方法的优越性。
引用
@article{arxiv.1910.11535,
title = {TRB: A Novel Triplet Representation for Understanding 2D Human Body},
author = {Haodong Duan and KwanYee Lin and Sheng Jin and Wentao Liu and Chen Qian and Wanli Ouyang},
journal= {arXiv preprint arXiv:1910.11535},
year = {2019}
}
备注
Accepted by ICCV2019