从局部观测中实现全身感知
计算机视觉与模式识别
2020-08-14 v1
摘要
在人体三维网格恢复方面已取得巨大进展，并且从消费级视频数据中了解世界的兴趣日益浓厚。遗憾的是，当前的三维人体网格恢复方法在消费级视频数据上表现相当差，因为在互联网上，非同寻常的相机视角和大幅截断是常态而非特例。我们研究这一问题并作出若干贡献以解决它：(i) 我们提出一个简单但高效的自我训练框架，将三维人体网格恢复系统适配到消费级视频，并展示其在两个近期系统上的应用；(ii) 我们为研究该任务引入了四个消费级视频数据集上 13K 帧的评估协议和关键点标注，包括图像外关键点的评估；以及 (iii) 我们表明，与基线相比，我们的方法在训练所用数据集的测试视频以及另外三个未经进一步适配的数据集上，均大幅提升了 PCK 和人工主观评判。项目网站：https://crockwell.github.io/partial_humans
引用
@article{arxiv.2008.06046,
title = {Full-Body Awareness from Partial Observations},
author = {Chris Rockwell and David F. Fouhey},
journal= {arXiv preprint arXiv:2008.06046},
year = {2020}
}
备注
In ECCV 2020