HSPACE：复杂环境中动画合成参数化人体
计算机视觉与模式识别
2022-01-07 v2
摘要
当前3D人体感知前沿技术的进展受限于缺乏具有3D真值、包含多个运动中的人、在真实世界环境中活动、具有复杂光照或遮挡、并可能由运动相机观测的视觉数据集。复杂的场景理解需要估计人体姿态与形状以及手势，朝向最终结合有用度量与行为信号以及自由视角照片级真实可视化能力的表示。为推动进展，我们构建了一个大规模照片级真实数据集Human-SPACE（HSPACE），由置于复杂合成室内外环境中的动画人体组成。我们组合了一百名年龄、性别、比例和种族各异的多样化个体，以及数百种动作和场景，外加身体形状的参数化变化（共计1,600个不同人体），以生成初始超过100万帧的数据集。人体动画通过将富有表现力的人体模型GHUM拟合到人的单次扫描，再经由支持着装人体真实动画、身体比例统计变化以及多个运动人体联合一致场景放置的新颖重定向与定位流程获得。资产自动大规模生成，并与现有实时渲染和游戏引擎兼容。该数据集及评测服务器将公开供研究使用。我们对合成数据影响的大规模分析，结合真实数据与弱监督，突显了在此实际设定下，随着模型容量增加，持续改进质量并限制仿真到真实鸿沟的可观潜力。
引用
@article{arxiv.2112.12867,
title = {HSPACE: Synthetic Parametric Humans Animated in Complex Environments},
author = {Eduard Gabriel Bazavan and Andrei Zanfir and Mihai Zanfir and William T. Freeman and Rahul Sukthankar and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:2112.12867},
year = {2022}
}