LoopReg：用于 3D 人体网格配准的隐式表面对应、姿态与形状的自监督学习
计算机视觉与模式识别
2021-11-29 v2
摘要
我们解决将 3D 人体模型拟合到着装人体 3D 扫描的问题。经典方法同时优化数据到模型的对应关系和人体模型参数（姿态与形状），但仅在初始化接近解时才可靠。一些方法基于全监督对应预测器初始化优化，其不可端到端微分，且一次只能处理单个扫描。我们的主要贡献是 LoopReg，一个将扫描语料库配准到通用 3D 人体模型的端到端学习框架。关键思想是创建一个自监督闭环。由神经网络参数化的后向映射预测从每个扫描点到人体模型表面的对应。由人体模型参数化的前向映射基于模型参数（姿态与形状）将对应点变换回扫描，从而闭合环路。表述该闭环并非易事，因为强制 NN 的输出位于人体模型表面之上并不平凡——在该表面之外人体模型甚至未定义。为此，我们提出两项关键创新。首先，我们将规范表面隐式定义为 R3 中距离场的零水平集，与更常见的 UV 参数化相比，它不需要切割表面、没有不连续性且不引起畸变。其次，我们将人体模型扩散到 3D 域 R3。这允许将 NN 预测前向映射，即使它们略微偏离零水平集。结果表明，我们主要以自监督方式训练 LoopReg——在监督预热后，随着处理更多未标记原始扫描，模型变得越来越准确。我们的代码与预训练模型可下载用于研究。
引用
@article{arxiv.2010.12447,
title = {LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration},
author = {Bharat Lal Bhatnagar and Cristian Sminchisescu and Christian Theobalt and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2010.12447},
year = {2021}
}
备注
NeurIPS'20 (Oral)