利用可微语义渲染从图像中学习回归人体
计算机视觉与模式识别
2022-02-24 v2
摘要
从单目图像中学习回归三维人体形状和姿态（例如 SMPL 参数）通常在缺乏三维训练数据时利用二维关键点、轮廓和/或部位分割损失。然而，此类损失存在局限，因为二维关键点无法监督身体形状，且穿衣人的分割与投影的最小着装 SMPL 形状不匹配。为利用关于穿衣人的更丰富图像信息，我们引入关于服装的高层语义信息，以对图像中穿衣和非穿衣区域施加不同惩罚。为此，我们使用新颖的可微语义渲染（DSR）损失训练身体回归器。对于最小着装区域，我们定义 DSR-MC 损失，鼓励渲染的 SMPL 身体与图像的最小着装区域紧密匹配。对于穿衣区域，我们定义 DSR-C 损失以鼓励渲染的 SMPL 身体位于服装掩码内部。为确保端到端可微训练，我们从数千个穿衣人体扫描中学习 SMPL 顶点的语义服装先验。我们进行了广泛的定性和定量实验，以评估服装语义在三维人体姿态和形状估计精度中的作用。我们在 3DPW 和 Human3.6M 上优于所有先前最优方法，并在 MPI-INF-3DHP 上取得相当结果。用于研究的代码和训练模型可在 https://dsr.is.tue.mpg.de/ 获取。
引用
@article{arxiv.2110.03480,
title = {Learning to Regress Bodies from Images using Differentiable Semantic Rendering},
author = {Sai Kumar Dwivedi and Nikos Athanasiou and Muhammed Kocabas and Michael J. Black},
journal= {arXiv preprint arXiv:2110.03480},
year = {2022}
}
备注
ICCV2021