从合成人类中学习
计算机视觉与模式识别
2018-01-22 v3
摘要
从图像和视频中估计人体姿态、形状和运动是具有众多应用的基本挑战。近期在 2D 人体姿态估计上的进展使用大量人工标注的训练数据来学习卷积神经网络 (CNNs)。此类数据获取耗时且难以扩展。此外，对 3D 姿态、深度和运动的手动标注是不切实际的。本工作中，我们提出 SURREAL (Synthetic hUmans foR REAL tasks)：一个新的大规模数据集，包含由人体动作捕捉数据的 3D 序列渲染生成的合成但逼真的人员图像。我们生成了超过 600 万帧以及对应的真实姿态、深度图和分割掩码。我们表明，在我们的合成数据集上训练的 CNN 能够在真实 RGB 图像中实现准确的人体深度估计和人体部件分割。我们的结果和该新数据集为利用廉价且大规模的合成数据推进人体分析开辟了新可能。
引用
@article{arxiv.1701.01370,
title = {Learning from Synthetic Humans},
author = {Gül Varol and Javier Romero and Xavier Martin and Naureen Mahmood and Michael J. Black and Ivan Laptev and Cordelia Schmid},
journal= {arXiv preprint arXiv:1701.01370},
year = {2018}
}
备注
Appears in: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017). 9 pages