SNARF：用于动画化非刚性神经隐式形状的可微前向蒙皮
计算机视觉与模式识别
2021-11-30 v3
摘要
神经隐式表面表示已成为以连续且分辨率无关的方式捕捉3D形状的一种有前景的范式。然而，将其适配到关节形状并非易事。现有方法学习一个将变形点映射到规范点的反向扭曲场。但这存在问题，因为反向扭曲场依赖于姿态，因此需要大量数据来学习。为此，我们引入SNARF，它通过将多边形网格的线性混合蒙皮(LBS)优势与神经隐式表面优势相结合，学习一个无直接监督的前向变形场。该变形场定义于规范的、与姿态无关的空间中，允许泛化至未见过的姿态。仅从带姿态网格学习变形场具有挑战性，因为变形点的对应关系是隐式定义的，并且可能在拓扑变化下不唯一。我们提出一个前向蒙皮模型，使用迭代求根找到任意变形点的所有规范对应点。我们通过隐式微分推导解析梯度，从而实现从带骨骼变换的3D网格进行端到端训练。与最先进的神经隐式表示相比，我们的方法在保持精度的同时更好地泛化至未见姿态。我们在多样且未见姿态下的（着衣）3D人体挑战性场景中展示了我们的方法。
引用
@article{arxiv.2104.03953,
title = {SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes},
author = {Xu Chen and Yufeng Zheng and Michael J. Black and Otmar Hilliges and Andreas Geiger},
journal= {arXiv preprint arXiv:2104.03953},
year = {2021}
}
备注
project page: https://xuchen-ethz.github.io/snarf/. v3 update: correct bone index in Fig.3