TAVA：无模板可驱动体积化角色
计算机视觉与模式识别
2022-06-22 v2 人工智能
摘要
基于坐标的体积化表示具有从图像生成照片级真实虚拟化身的潜力。然而，虚拟化身还需要能够被控制，即使是对于可能未曾观察到的新姿态。传统技术，如线性混合蒙皮（LBS），提供了这样的功能；但它通常需要手工设计的身体模板、三维扫描数据和有限的外观模型。另一方面，神经表示已被证明在表示视觉细节方面很强大，但在变形动态关节式角色方面探索不足。在本文中，我们提出了TAVA，一种基于神经表示创建无模板可驱动体积化角色（Template-free Animatable Volumetric Actors）的方法。我们仅依赖多视角数据和跟踪的骨架来创建一个角色的体积模型，该模型可以在测试时给定新姿态进行动画驱动。由于TAVA不需要身体模板，它适用于人类以及其他生物，如动物。此外，TAVA的设计使其能够恢复准确的密集对应关系，使其适用于内容创建和编辑任务。通过大量实验，我们证明了所提出的方法能很好地泛化到新姿态和未见视角，并展示了基本的编辑能力。
引用
@article{arxiv.2206.08929,
title = {TAVA: Template-free Animatable Volumetric Actors},
author = {Ruilong Li and Julian Tanke and Minh Vo and Michael Zollhofer and Jurgen Gall and Angjoo Kanazawa and Christoph Lassner},
journal= {arXiv preprint arXiv:2206.08929},
year = {2022}
}
备注
Code: https://github.com/facebookresearch/tava; Project Website: https://www.liruilong.cn/projects/tava/