MetaAvatar：从少量深度图像学习可动画的着装人体模型
计算机视觉与模式识别
2022-01-21 v2
摘要
在本文中，我们旨在从单目深度观测创建可泛化且可控的神经网络符号距离场（SDF），以表示着装人体。深度学习的近期进展，尤其是神经隐式表示，已实现从不同传感器输入进行人体形状重建和可控化身生成。然而，为了从新输入姿态生成逼真的布料形变，通常需要水密网格或密集全身扫描作为输入。此外，由于难以有效建模不同体型和布料类型下依赖于姿态的布料形变，现有方法求助于针对每个主体/布料类型从零开始优化，计算代价高昂。相比之下，我们提出一种方法，仅给定单目深度图像，即可快速生成逼真的着装人体化身，表示为可控的神经 SDF。我们通过使用元学习来学习预测神经 SDF 参数的超网络（hypernetwork）的初始化来实现这一点。该超网络以人体姿态为条件，表示一个根据输入姿态非刚性形变的着装神经化身。同时，它通过元学习有效融入不同体型和布料类型的先验，因此与从零训练的模型相比，微调速度快得多。我们从定性和定量上表明，我们的方法优于需要完整网格作为输入的最先进方法，而我们的方法仅需深度帧作为输入且运行速度快数个数量级。此外，我们证明我们的元学习超网络非常鲁棒，是首个仅给定少至 8 帧单目深度图像即可生成具有逼真动态布料形变的化身的方法。
引用
@article{arxiv.2106.11944,
title = {MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images},
author = {Shaofei Wang and Marko Mihajlovic and Qianli Ma and Andreas Geiger and Siyu Tang},
journal= {arXiv preprint arXiv:2106.11944},
year = {2022}
}
备注
NeurIPS 2021 final camera-ready revision. Project page: https://neuralbodies.github.io/metavatar/