SUPR：一种稀疏统一基于部件的人体表示
计算机视觉与模式识别
2022-10-26 v1
摘要
头部、手部和全身的统计三维形状模型在计算机视觉与图形学中得到广泛应用。尽管应用广泛，我们表明现有的头部与手部模型未能捕捉这些部件的全部运动范围。此外，现有工作很大程度上忽略了脚部，而脚部对建模人体运动至关重要，并在生物力学、动画和鞋类行业中有应用。问题在于以往的肢体部件模型是使用孤立于各个部件的三维扫描训练的。此类数据未捕捉部件的全部运动范围，例如头部相对于颈部的运动。我们的观察是全身扫描提供了关于肢体部件运动的重要信息。因此，我们提出一种新的学习方案，利用全身与身体部件扫描的联邦数据集联合训练全身模型与特定部件模型。具体而言，我们训练了一个称为SUPR（稀疏统一基于部件的人体表示）的表现性人体模型，其中每个关节严格影响一组稀疏的模型顶点。这种因子化表示可将SUPR分离为一整套身体部件模型。需注意脚部很少受到关注，且现有三维身体模型具有高度欠驱动的脚部。利用新颖的脚部4D扫描，我们训练了一个具有扩展运动学树的模型，可捕捉脚趾的运动范围。此外，脚部因地面接触而变形。为此，我们引入一种新颖的非线性变形函数，可根据脚部位姿、形状和地面接触预测脚部变形。我们在数量空前的扫描上训练SUPR：120万份身体、头部、手部和脚部扫描。我们定量比较了SUPR与分离出的身体部件，发现我们的模型套件比现有模型泛化性更好。SUPR可在 http://supr.is.tue.mpg.de 获取。
引用
@article{arxiv.2210.13861,
title = {SUPR: A Sparse Unified Part-Based Human Representation},
author = {Ahmed A. A. Osman and Timo Bolkart and Dimitrios Tzionas and Michael J. Black},
journal= {arXiv preprint arXiv:2210.13861},
year = {2022}
}
备注
Accepted in ECCV 2022