VINECS：基于视频的神经角色蒙皮
计算机视觉与模式识别
2023-07-04 v1
摘要
为着装人体化身进行绑定和蒙皮是一项具有挑战性的任务，传统上需要大量手工工作和专业知识。解决该问题的最近方法要么跨不同角色泛化，要么专注于捕捉在不同姿态配置下观察到的单个角色的动力学。然而，前者通常仅预测静态蒙皮权重，在高度关节化姿态下表现不佳，而后者要么需要不同姿态下的密集 3D 角色扫描，要么无法生成具有随时间顶点对应关系的显式网格。为应对这些挑战，我们提出了一种全自动方法，用于创建具有姿态相关蒙皮权重的完全绑定角色，该方法可仅从多视角视频中学习。因此，我们首先获取一个绑定模板，随后对其进行静态蒙皮。接下来，一个基于坐标的 MLP 学习在规范姿态空间中的位置及相应姿态参数化的蒙皮权重场。此外，我们引入了姿态和视角相关的外观场，使我们能够使用多视角图像对不同姿态的网格进行可微渲染和监督。我们表明，我们的方法优于 SOTA，同时不依赖密集 4D 扫描。
引用
@article{arxiv.2307.00842,
title = {VINECS: Video-based Neural Character Skinning},
author = {Zhouyingcheng Liao and Vladislav Golyanik and Marc Habermann and Christian Theobalt},
journal= {arXiv preprint arXiv:2307.00842},
year = {2023}
}