中文

MirrorNet:一种从人体图像进行反射式二维姿态估计的深度贝叶斯方法

计算机视觉与模式识别 2020-04-09 v1

摘要

本文提出一种从人体图像进行二维姿态估计的统计方法。基于深度识别(图像到姿态)模型的标准监督方法的主要问题是,它经常产生解剖学上不合理的姿态,且其性能受配对数据量的限制。为解决这些问题,我们提出一种半监督方法,能够有效利用带姿态标注与不带姿态标注的图像。具体而言,我们通过将姿态特征生成姿态的深度生成模型与由姿态和图像特征生成图像的深度生成模型相整合,构建了姿态与图像的层次生成模型。然后我们引入一个从图像推断姿态的深度识别模型。给定图像作为观测数据,这些模型可以以层次变分自编码(图像到姿态到特征到姿态到图像)的方式联合训练。实验结果表明,所提出的反射式架构使估计姿态在解剖学上合理,且通过整合识别与生成模型以及输入无标注图像,姿态估计性能得到提升。

关键词

引用

@article{arxiv.2004.03811,
  title  = {MirrorNet: A Deep Bayesian Approach to Reflective 2D Pose Estimation from Human Images},
  author = {Takayuki Nakatsuka and Kazuyoshi Yoshii and Yuki Koyama and Satoru Fukayama and Masataka Goto and Shigeo Morishima},
  journal= {arXiv preprint arXiv:2004.03811},
  year   = {2020}
}

备注

19 pages